一个随机森林是一家集决策树通过随机选择只是某些功能建立与(有时装袋训练数据),每棵树形成。显然,他们学习并概括得很好。是否有人对决策树空间进行了MCMC采样或将它们与随机森林进行了比较?我知道运行MCMC并保存所有采样树可能在计算上更加昂贵,但是我对这个模型的理论特性感兴趣,而不是计算成本。我的意思是这样的:
- 构造一个随机决策树(它可能会表现得很差)
- 用类似计算树的可能性,或者添加一个项。
- 选择一个随机步骤来更改树,然后根据似然度。
- 每N步,保存当前树的副本
- 返回3进行大的N * M次
- 使用M个保存的树的集合进行预测
这会给随机森林一个类似的表现吗?请注意,与随机森林不同,我们在任何步骤都不会丢弃好数据或功能。
2
我不确定这是否正是您所概述的过程,但是这里有BART。这是PDF
—
joran