随机森林的理论结果？

9

随机森林在实践者中享有声誉，是最有效的分类技术之一。然而，在学习理论文献中我们很少遇到这些问题，因此我推测它们缺乏深入的理论成果。如果有人想深入研究这一理论，那将从哪里开始呢？

machine-learning lg.learning

— 亚列
source

2

即将发布的SODA'15中有一篇新文章可能是相关的。见meetings.siam.org/sess/dsp_talk.cfm?p=68795

— 钱德拉Chekuri

@ChandraChekuri，我只看到摘要，但看不到论文。有完整的论文吗？它与随机森林机器学习方法（用于有监督的学习/分类任务）有什么关系吗？

— DW

@DW写信给作者，看看他们是否愿意分享副本。我知道结果，但自己还没有看过这篇论文。

— Chandra Chekuri 2014年

5

继西蒙妮（Simone）的回答之后，杰拉德·比亚（Gerard Biau）发表了几篇非常好的论文，探讨了随机森林的收敛性和一致性。与Breiman 2001相比，该分析仅针对算法的简化版本，但与以前的结果相比，简化程度较低。

Biau的论文（以及他的合作者）都可以在他的网站上找到：

一个特别相关的是一致性方面的“出版中”工作：http : //www.lsta.upmc.fr/BIAU/sbv.pdf

其他2-3篇论文的森林含量随机。我刚刚加入cstheory，所以我不能发布两个以上的链接，但是上面的出版物网站都包含了所有链接。

希望对您有所帮助。自2008年以来，在经过大量经验性使用该方法之后，最近的活动似乎激增。好消息是，理论研究似乎表明该方法是鲁棒的并且具有良好的性能。

— 马克·马德森
source

6

我想您已经看过Breiman在2001年发表的有关RF的论文。我可以指出一些其他参考：

可以证明定理的不同RF简化的经验比较：缩小差距：理论和实践中的随机森林

这是我可以提供的最新参考。在本文中，您还可以找到Biau论文中有关射频理论结果的初步工作的一些引文。

如果您对有关RF中可变重要性的理论结果感兴趣：了解随机树森林中的可变重要性

实际上，我刚刚发现最后一篇论文的作者（Gilles Louppe）刚刚在arxiv上发表了他的博士学位论文（v2）：了解随机森林：从理论到实践

— 西蒙妮
source