随机森林是增强算法吗？

提升的简短定义：

一组弱学习者可以创建一个强学习者吗？弱学习者被定义为仅与真实分类略相关的分类器（与随机猜测相比，它可以更好地标记示例）。

随机森林的简称：

随机森林种植许多分类树。要根据输入向量对新对象进行分类，请将输入向量放在森林中的每棵树上。每棵树都有一个分类，我们称该树对该类“投票”。森林选择投票最多的类别（在森林中的所有树木上）。

随机森林的另一个简短定义：

随机森林是一种元估计量，它适合数据集各个子样本上的许多决策树分类器，并使用求平均值来提高预测准确性和控制过度拟合。

据我了解，随机森林是一种使用树作为其弱分类器的增强算法。我知道它也使用其他技术并对它们进行了改进。有人纠正我说随机森林不是增强算法吗？

有人可以详细说明一下，为什么随机森林不是增强算法？

随机森林是一种装袋算法，而不是增强算法。它们是实现低误差的两种相反方法。

我们知道误差可以由偏差和方差合成。过于复杂的模型具有较低的偏差但方差较大，而过于简单的模型具有较低的方差但偏差较大，两者均导致较高的误差，但有两个不同的原因。结果，人们想到了两种解决问题的方法（可能是Breiman等人），一种是复杂模型的方差减少，另一种是简单模型的偏差减少，这指的是随机森林和自然保护。

随机森林减少了具有低偏差的大量“复杂”模型的方差。我们可以看到组成元素不是“弱”模型，而是太复杂的模型。如果您了解该算法，则将“大约”种植到“可能”的基础树。基础树是独立的并行模型。并且向它们引入了附加的随机变量选择，以使它们更加独立，这使其性能比普通的套袋更好，并赋予了“随机”名称。

同时提升可以减少方差低的大量“小”模型的偏差。正如您引用的那样，它们是“弱”模型。底层元素某种程度上类似于关于每个级别的偏差的“链”或“嵌套”迭代模型。因此，它们不是独立的并行模型，而是通过加权在所有以前的小模型的基础上构建的。所谓的“一举一动”。

Breiman的论文和书籍讨论了树木，随机森林和助推器。它可以帮助您了解算法的原理。

随机森林不被视为增强算法。

如您的增强链接中所述：

...大多数提升算法都包括针对分布迭代学习弱分类器，并将它们添加到最终的强分类器中。当添加它们时，通常会以某种与弱学习者的准确性相关的方式对它们进行加权。添加弱学习者后，数据将重新加权...

这种迭代过程的一个示例是adaboost，通过多次迭代可以提高或加权较弱的结果，以使学习者将更多的精力集中在出错的地方，而较少关注正确的观察结果。

相比之下，随机森林是一种整体装袋或求平均的方法，旨在通过从数据集中随机选择（从而使它们解相关）许多树木并将其平均来减少单个树木的方差。

它是套袋的延伸。过程如下，您对数据进行了引导程序样本，然后使用它来增长分类树或回归树（CART）。可以进行预定义的次数，然后进行预测，然后将各个树的预测进行汇总，可以是多数表决（用于分类）或平均值（用于回归）。这种方法称为装袋（Breiman 1994）。此外，从所有可用自变量的随机样本中获取每的分割各棵树的候选变量。这引入了更多的可变性，并使树木更加多样化。这称为随机子空间方法（Ho，1998）。如所提到的，这产生了非常多样化的树木，这转化成彼此高度独立的树木。因为詹森的不等式我们知道，这些树预测的误差平均值将小于或等于从该数据集生成的平均树误差。另一种查看方法是查看均方误差（并注意如何将其分解为偏差和方差部分（这与监督学习中称为偏差方差折衷的问题有关。）。随机森林通过平均正交树的预测来减少方差，从而获得更好的准确性。应该注意的是，它继承了其树的偏见，这是一个已经讨论过的问题，例如，请检查该问题。

我相信您通常会使整体方法特别令人困惑，其中有很多方法。您对增强的“定义”不是完整的定义，Pat的答案对此进行了详细说明。如果您想了解有关集成方法的更多信息，建议您阅读以下书籍：

约翰·埃尔德（John Elder）和乔瓦尼·塞尼（Giovanni Seni）。数据挖掘中的集成方法：通过组合预测来提高准确性。（2010年）

随机森林是套袋技术，而不是加强技术。顾名思义，在促进中，一个是在向他人学习，这反过来又在促进学习。

随机森林中的树木并行运行。在构建树时，这些树之间没有交互。构建完所有树后，将根据问题是分类问题还是回归问题对所有树的预测进行投票或平均。

像GBM-Gradient Boosting Machine这样的Boosting算法中的树被顺序训练。

假设第一棵树受到训练，并且对训练数据进行了一些预测。并非所有这些预测都是正确的。假设在总共100个预测中，第一棵树将10个观测结果弄错了。现在，在构建第二棵树时，将对这10个观测值赋予更大的权重。请注意，第二棵树的学习比第一棵树的学习得到了增强。因此，助推一词。这样，在从过去的树中学习的基础上，依次构建了每棵树。