通过添加更多的单个决策树来进行在线随机森林


13

随机森林(RF)由决策树(DT)的集合创建。通过使用装袋,可以在不同的数据子集中训练每个DT。因此,有没有办法通过在新数据上添加更多决策树来实现在线随机森林?

例如,我们有10K样本并训练了10个DT。然后,我们得到了1K个样本,而不是再次训练整个RF,而是添加了一个新的DT。现在通过10 + 1 DT的贝叶斯平均值进行预测。

另外,如果我们保留所有先前的数据,则可以主要在新数据中训练新的数据仓库,其中根据已经选择了多少次来加权选择样本的概率。

Answers:


8

关于这个问题最近的一篇文章在线随机森林),从计算机视觉的到来。这是一个实现和演示:10分钟内的在线随机森林


您提到的实现遵循树木生长策略,例如Mondrian森林(arxiv.org/abs/1406.2673)。因此,树木的数量是恒定的,而分裂的数量却增加了。我的问题集中在增加用于新样本的树木的数量,同时保持原先训练过的树木不变。
tashuhka 2014年

1
这样?如果合适的话,您也不想丢树吗?
Emre 2014年

谢谢。这与我正在寻找的东西更相似。在这种情况下,将RF用于时变信号的特征选择。但是,该方法的具体实现和有效性尚不清楚,您知道他们是否发布了任何内容(Google没有帮助)?
tashuhka 2014年


感谢您的链接!我可以看到它们实际上是使用树增长策略来更新所有先前的树,并且我感兴趣的是使用新数据创建新的DT,同时保持原树不变。
tashuhka,2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.