为什么随机林木不需要修剪?


20

布雷曼说,树木生长时没有修剪。为什么?我的意思是说,肯定有理由不修剪随机森林中的树木。另一方面,修剪单个决策树以避免过度拟合被认为非常重要。为此,是否有一些文献可供阅读?当然,树可能没有关联,但是仍然有可能过度拟合。


您确实需要在这里对上下文进行更多说明。@ChrisA。已经做出了显着的尝试,但是很难知道您的问题是否得到了真正的回答,因为很难了解您的杂项。
gung-恢复莫妮卡

2
还有什么需要说的?问题很明确。
Seanosapien

Answers:


20

粗略地说,在一棵树中可能发生的某些潜在的过度拟合(这是您通常要修剪的一个原因)在“随机森林”中可以通过两件事得到缓解:

  1. 用于训练单个树的样本这一事实是“自举的”。
  2. 您拥有大量使用随机特征的随机树,因此各个树很强,但彼此之间的相关性却很弱。

编辑:基于OP的以下注释:

绝对有可能过度拟合。就文章而言,您可以阅读Breiman提出的“装袋”动机以及Efron和Tibshirani提出的“引导”动机。直到2,Brieman得出了与树强度和各个分类器的反相关有关的泛化误差的宽松界限。没有人(最有可能)使用界限,但这是为了给出直觉,以帮助了解合奏方法中的低泛化错误。这在《随机森林》一书中。我的帖子是根据这些读物和我的经验/推论来向您指引正确的方向。

  • Breiman,L.,套袋预测器,机器学习,24(2),123-140页,1996。
  • Efron,B .;Tibshirani,R。(1993)。Bootstrap简介。佛罗里达博卡拉顿
  • 布里曼·利奥(2001)。“随机森林”。机器学习45(1):5–32。

但是仍然可能存在过度拟合的可能性。您可以引用一篇文章来阅读吗?
Z Khan

@Z Khan你也许也是这个Z Khan吗?如果是这样,请告诉我们,以便我们合并您的帐户。
ub

3
@ZKhan Hastie等人,(2009)统计学习的元素,第二版,涵盖了RF中的过拟合问题。在网站上可以找到该书的免费PDF。查阅有关随机森林的章节。
恢复莫妮卡-G.辛普森
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.