协调增强的回归树（BRT），广义增强的模型（GBM）和梯度增强的机器（GBM）

问题：

1. 增强回归树（BRT）和广义增强模型（GBM）有什么区别？它们可以互换使用吗？一种是另一种的特定形式吗？
2. 为什么里奇韦（Ridgeway）为什么使用短语“广义增强回归模型”（GBM）来描述弗里德曼以前提出的“梯度增强机”（GBM）？这两个首字母缩略词是相同的，描述相同的事物，但是源自不同的短语。

背景：

我无法确定术语BRT和GBM有何不同。据我所知，这两个术语都是用来描述分类树和回归树的，这些树通过某种增强（例如装袋，自举，交叉验证）而具有随机性。另外，据我所知，GBM是由Friedman（2001）在他的论文“ Greedy函数逼近：梯度提升机”中首次提出的。然后，Ridgeway实施了Friedman在2006年的软件包“广义增强回归模型”（GBM）中描述的过程。在我的领域（生态学）中，Elith等人。（2008）是第一个证明Ridgeway gbm进行物种分布建模的软件包。但是，Elith等的作者。使用术语“增强的回归树”（BRT）来描述Friedman和Ridgeway'

我对这些术语是否可以互换使用感到困惑？令人困惑的是，一个作者使用相同的首字母缩写词（来自不同的短语）来描述先前作者提出的相同理论。同样令人困惑的是，第三作者在用生态学术语描述这一理论时使用了一个完全不同的术语。

我能想到的最好的是BRT是GBM的一种特定形式，其中的分布是二项式的，但是我不确定。

Elith等。像这样定义增强的回归树…“增强的回归树结合了两种算法的优势：回归树（通过递归二进制分裂将响应与其预测变量联系起来的模型）和增强（将多种简单模型组合在一起以提供改进的预测性能的自适应方法）最终的BRT模型可以理解为加性回归模型，其中单个术语是简单的树，以向前，逐步的方式拟合”（Elith等，2008）。

正如@aginensky在评论主题中提到的那样，不可能引起作者的注意，但是BRT很可能只是对gbms建模过程的更清晰描述，请原谅我陈述了明显的，增强的分类和回归树。既然您已经问过关于增强树，渐变树和回归树的问题，这是我对这些术语的简单英语解释。仅供参考，CV不是增强方法，而是一种通过重复采样帮助识别最佳模型参数的方法。有关此过程的一些出色说明，请参见此处。

增强是合奏方法的一种。集合方法是指通过汇总来自多个单独模型的预测来做出最终预测的方法的集合。提升，装袋和堆叠是一些广泛实现的集成方法。堆叠涉及分别拟合多个不同模型（您可以选择任意结构），然后将它们组合为一个线性模型。这是通过将各个模型的预测与因变量进行拟合来完成的。LOOCV SSE通常用于确定回归系数，每个模型都被视为基本函数（在我看来，这与GAM非常非常相似）。同样，套袋涉及将许多结构相似的模型拟合到自举样本。冒着再次陈述显而易见的危险，堆叠和装袋是并行的合奏方法。

但是，增强是一种顺序方法。Friedman和Ridgeway都在他们的论文中描述了算法过程，因此我不会在此第二次插入它，但是简单的英语版本（有些简化）是您一个模型一个接另一个地拟合，每个后续模型都力求最小化。由先前模型的误差加权的残差（收缩参数是分配给来自先前迭代的每个预测残差的权重，您可以承受的越小越好）。从抽象的意义上讲，您可以将推进视为一个非常人性化的学习过程，在此过程中，我们将过去的经验应用于必须执行的新任务迭代中。

现在，整个过程的梯度部分来自用于确定gbm要用于预测的模型的最佳数量（在文档中称为迭代）的方法，以避免过拟合。

从上图可以看到（这是分类应用程序，但对于回归也是如此），CV误差起初急剧下降，因为该算法选择了那些将导致扁平化误差下降最大的模型然后随着合奏开始过度拟合而再次爬升。最佳迭代次数是与CV误差函数的拐点相对应的迭代次数（函数梯度等于0），方便地用蓝色虚线表示。

Ridgeway的gbm实现使用分类树和回归树，尽管我不能声称要读懂他的想法，但我可以想象，树可以适合的速度和便捷性（更不用说它们对数据恶作剧的鲁棒性）对他对建模技术的选择。话虽这么说，虽然我可能是错的，但我无法想象出一个严格的理论原因，为什么几乎没有任何其他建模技术可以实现。同样，我不能自称知道里奇韦的心意，但我想象中的广义的一部分gbm的名称是指众多潜在的应用程序。该软件包可用于执行回归（线性，泊松和分位数），二项式（使用许多不同的损失函数）和多项式分类以及生存分析（或至少在危险函数计算（如果coxph分布有任何指示）的情况下）。

Elith的论文似乎含糊不清（我想我去年夏天在研究gbm友好的可视化方法时碰到了它），并且，如果内存使用得当，它的特点是扩展了gbm库，专注于自动模型调整以进行回归（如高斯分布） ，而不是二项式）应用程序并改进了情节生成。我想这里有RBT命名法可以帮助阐明建模技术的性质，而GBM更一般。

希望这有助于清除一些问题。