袋外误差估计是否可以增强？

在随机森林中，每棵树都是在数据的唯一Boostrap样本上并行生长的。由于预计每个Bo​​ostrap样本将包含约63％的独特观测值，因此将约37％的观测值排除在外，可用于测试树。

现在，似乎在随机梯度增强中，还有一个类似于RF中的估计：$OOB_{error}$

如果bag.fraction设置为大于0（建议为0.5），则gbm将计算出袋装的预测性能改善估计值。它评估在选择下一个回归树时未使用的那些观察结果的偏差减少。

资料来源：Ridgeway（2007），第3.3节（第8页）。

我无法理解其工作方式/是否有效。说我要按顺序添加一棵树。我正在原始数据集的随机子样本上生长这棵树。我可以在不用于生长的观察结果上测试这棵树。同意 但是，由于Boosting是顺序的，所以我宁愿使用到目前为止构建的整个树序列来为那些遗漏的观察提供预测。而且，前面的许多树木很有可能已经看到了这些观察结果。因此，不是真的像RF一样在每个回合上都未对模型进行过测试，对吗？

那么，这怎么称为“袋外”误差估计呢？对我来说，似乎已经被发现了吗？

仅部分回答（并向您的问题添加新问题）。

R http://www.rdocumentation.org/packages/gbm/functions/gbm中的gbm实现 具有两个参数，可以调整一些不便之处。

a）train.fraction将定义用于训练所有树木的数据的比例，因此1- train.fraction将是真实的OOB（袋装）数据。

b）bag.fraction将定义在提升中创建下一棵树时使用的训练数据的比例。因此可能存在一些从未用于创建任何树的数据，它们可以真正用作OOB数据。（但不太可能，请参阅下面的问题）

这使我想到了这个问题。您将37％的数据视为OOB的分析仅适用于一棵树。但是，任何树中都不会使用任何数据的机会要小得多（对于所有树，它必须在OOB中-我的理解是每棵树都有自己的引导程序）。因此，在RandomForests中，不可能有任何OOB来测试森林。但是R中的randomForest实现（基于Breiman的原始代码）对OOB进行了很多讨论（例如结果数据，请参见http://www.rdocumentation.org/packages/randomForest/functions/randomForest） Ñ 吨ř Ë $0.37^{ntrees}$$ntree$err.rateconfusion

我不知道该如何回答（我感谢您（+1）提出这个问题，并使我意识到我不了解randomForests的这一方面）。可能的解决方案是只有一个引导程序-并且所有树都是从中构造的-但据我所知，事实并非如此。

我相信他们在每个步骤中都不会做出估算。由于添加了所有步骤的结果（使用系数），因此也可以使用相同的系数添加OOB错误。