选择模型后进行交叉验证（错误归纳）

注意：大小写为n >> p

我正在阅读《统计学习的元素》，关于交叉验证的“正确”方法有很多提及（例如，第60页，第245页）。具体来说，我的问题是在进行模型搜索时，如何使用k倍CV或自举法评估最终模型（没有单独的测试集）？似乎在大多数情况下（没有嵌入式功能选择的ML算法）

1. 功能选择步骤
2. 元参数选择步骤（例如，SVM中的成本参数）。

我的问题：

1. 我已经看到，可以在整个训练集上进行特征选择并放在一边的情况下，进行特征选择步骤。然后，使用k折CV，在每折中使用特征选择算法（获得每次可能选择的不同特征）并平均误差。然后，您将使用通过所有数据（预留的数据）选择的特征来训练最终模式，但是将交叉验证中的错误用作模型未来性能的估计。它是否正确？
2. 当您使用交叉验证选择模型参数时，随后如何估算模型性能？您是使用第54页（pdf）所示的嵌套简历还是其他方法，还是上面＃1的相同过程？
3. 当您同时执行两个步骤（功能和参数设置）时.....然后您会做什么？复杂的嵌套循环？
4. 如果您有单独的保留样本，那么担心会消失吗，您可以使用交叉验证来选择功能和参数（不必担心，因为您的性能估算将来自保留集）？

要记住的关键是，为了使交叉验证能够提供（几乎）无偏的性能估计，在交叉验证过程的每一个步骤中，还必须独立执行模型拟合中涉及的每个步骤。最好的做法是将特征选择，元/超参数设置和参数优化视为模型拟合的组成部分，并且不要在不执行其他两个步骤的情况下执行任何一个步骤。

正如Cawley和Talbot所证明的那样，通过偏离该配方而产生的乐观偏见可能出乎意料地大，其中明显良性偏离所引起的偏见大于竞争分类器之间的性能差异。更糟糕的是，有偏见的协议最倾向于使用不良模型，因为它们对超参数的调整更加敏感，因此更容易过度拟合模型选择标准！

对特定问题的答案：

第1步中的过程是有效的，因为特征选择是在每个折叠中分别执行的，因此要进行交叉验证的是用于拟合最终模型的整个过程。交叉验证的估计会有轻微的悲观偏差，因为每个折叠的数据集都比最终模型使用的整个数据集要小一些。

对于2，由于使用交叉验证来选择模型参数，因此您需要在用于性能评估的交叉验证的每个折叠中独立地重复该过程，最后得到嵌套的交叉验证。

对于3，从本质上讲，是的，您需要进行嵌套嵌套的交叉验证。本质上，您需要在最外部的交叉验证（用于性能评估）的每个折叠中重复进行所有操作以适合最终模型。

对于4-是的，如果您有单独的保留集，则将无需任何其他交叉验证即可对性能进行无偏估计。

我一直在对花费数百万美元购买的数据集进行广泛的交叉验证分析，并且没有可用的外部验证集。在这种情况下，我执行了广泛的嵌套交叉验证以确保有效性。我仅从各自的训练集中选择了功能并优化了参数。对于大型数据集，这在计算上是昂贵的，但这是我必须要做的以保持有效性。但是，随之而来的是复杂性……例如，在每个训练集中选择了不同的功能。

因此，我的回答是，在您无法访问外部数据集的情况下，这是一种合理的方法。当您拥有外部数据集时，您可以根据需要在主要数据集上进行大量查找，然后再对外部数据集进行一次测试。