随机森林vs Adaboost

在《随机森林》（Breiman，1999年）的第7节中，作者提出了以下猜想：“ Adaboost是随机森林”。

有没有人证明或反对这一点？为证明或反驳1999年以后的职位采取了哪些措施？

machine-learning random-forest boosting

— 亚历克斯
source

请阅读stats.stackexchange.com/questions/77018/…也许您会在这里找到答案

@ user75008谢谢！因此，第7节提供了另一个猜想，因此，如果得到证明，则表明adaboost等同于随机森林。有没有人证明这个猜想是正确的？

— 亚历克斯（Alex）2015年

@ user75008我正在阅读您的链接stats.stackexchange.com/questions/77018/…，您是否认为Adaboost不等同于随机森林？

— 亚历克斯

有趣的问题。从那时起，已经完成了许多通过几种不同的策略来解释ada提升的工作。

我进行了快速的文献搜索，这份有点奇怪的论文似乎是该主题的最新论文，并且还回顾了布里曼和其他人的一连串工作：

http://arxiv.org/pdf/1212.1108.pdf

我不知道他们的结果是否有效，但他们声称没有证明布里曼的猜想，但是证明弱化的说法声称代谢不足可以保留措施，但不一定是遍历。

他们还提供了一些经验证据，证明adaboost实际上确实有时会过拟合。

我认为建议说adaboost可能与随机森林有关，但不像Brieman猜想的那样完全（或不总是）等效吗？

— 瑞安·布雷斯勒（Ryan Bressler）
source

谢谢，所以我想这仍然是一个悬而未决的问题，但是您的最后一句话正在讲述。

— 亚历克斯（Alex）

是的，我认为它仍然开放。我还认为，随着[随机]梯度提升机的普及，分析AdaBoost的兴趣下降了。AdaBoost是梯度下降的一种形式（en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent），与等价Brieman提出的那样，根据明确随机化的梯度下降进行思考可能更直观，更实用。（即，即使确实如此，实际上也很难从所需的分布中进行采样。）

— Ryan Bressler，2015年

我刚刚看到了有关该主题的这份新论文：arxiv.org/pdf/1504.07676v1.pdf

— Ryan Bressler

如果真的很有趣！“我们得出的结论是，应该像随机森林一样使用增强算法：具有大型决策树，并且没有直接的规则化或提早停止。”

— 亚历克斯（Alex）