为什么scikit-learn引导程序功能会对测试集重新采样？

当使用自举进行模型评估时，我一直认为直接购买的样本可以直接用作测试集。但是，对于已弃用的 scikit-learnBootstrap方法来说似乎不是这种情况，该方法似乎是通过从图纸中提取测试数据来构建测试集，并替换了现成的数据子集。这背后的统计原因是什么？在某些特定情况下，该技术比仅对袋外样本进行评估更好，反之亦然吗？

自举样本用于通过多次迭代来评估算法的性能。这样做时，将评估随机更改集的性能。

相反，当进行10次折叠交叉验证时，您仅对不同的训练和测试数据集执行10次迭代。

$n=20$$i=10,000$

您发布的链接已关闭，因此我在当前（0.14）版本的sklearn中添加了该功能的说明

方法说明

带有替换交叉验证迭代器的随机采样提供训练/测试索引，以在训练测试集中分割数据，同时对输入的n_iter次进行重采样：每次执行新的数据随机分割，然后在每一侧抽取样本（进行替换）拆分以构建训练和测试集。注意：与其他交叉验证策略相反，自举将使某些样本在每个拆分中出现几次。但是，发生在火车拆分中的样本将永远不会出现在测试拆分中，反之亦然。如果您希望每个样本最多出现一次，则应该改用ShuffleSplit交叉验证。

也许您在做某事。似乎其他人Bootstrap也陷入了同样的困境，并且不赞成使用该方法，而是尝试使用诸如的真正尝试方法来更故意地使用该resample方法。sklearn.cross_validationStratifiedKFold