随机森林如何生成随机森林


20

我不是随机森林专家,但是我清楚地了解到随机森林的关键问题是(随机)树的生成。您能解释一下树木是如何产生的吗?(即,用于生成树的分布是什么?)

提前致谢 !

Answers:


16

RF的实现略有不同。我知道Salford Systems的专有实现应该比R中的香草实现更好。该算法的描述在ESL中,由Friedman-Hastie-Tibshirani撰写,第二版,第三版。整个章节(第15章)专门讨论RF,我发现它实际上比原始论文更清晰。树的构建算法在p.588上有详细介绍;由于该书可在线获得,因此我无需在此处复制它。


非常感谢您的回答!我从第一页到最后一页都读过这本书,但我认为它是第1版...我不知道它可以在线获得。
罗宾吉拉德

19

主要思想是套袋程序,而不是使树木随机。详细地讲,每棵树都是建立在对象样本上的,该对象是从原始集合中替换而来的。因此,每棵树都有一些未曾见过的对象,这使得整个集合变得更加异构,因此泛化效果更好。

此外,正在以这样的方式削弱树木:在每个分割上仅考虑M(或mtry)个随机选择的属性;M通常是集合中属性数量的平方根。这样可以确保树木不被过度修剪,因为它们不会被修剪。您可以在此处找到更多详细信息。

另一方面,RF有一个称为“极端随机森林”的变体,其中树是以随机方式制作的(没有拆分的优化)-请参阅,我认为这是参考资料


抱歉,我不太了解您的答案。您的意思是“详细地说,每棵树都是基于从原始集合中替换而来的对象样本构建的”,您能否更精确地找到“此处”的细节?
罗宾吉拉德

1
套袋就是这样工作的;查看en.wikipedia.org/wiki/Bootstrap_aggregating。这是指向详细RF参考的链接(我承认在该主题中很难看到)。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.