为什么将数据分为训练和测试集还不够

我知道，为了访问分类器的性能，我必须将数据分为训练/测试集。但是读这个：

在评估估算器的不同设置（“超参数”）（例如必须为SVM手动设置的C设置）时，仍然存在测试集过拟合的风险，因为可以对参数进行调整，直到估算器达到最佳性能为止。这样，有关测试集的知识可以“渗入”模型，并且评估指标不再报告泛化性能。为了解决此问题，可以将数据集的另一部分保留为所谓的“验证集”：对训练集进行训练，然后对验证集进行评估，以及实验何时成功，可以对测试集进行最终评估。

我看到引入了另一个（第三个）验证集，这是通过在超参数调整期间对测试集进行过度拟合来证明的。

问题是我无法理解这种过度拟合的外观，因此无法理解第三组的合理性。

即使您仅在训练数据上训练模型，您仍在基于测试集优化超参数（例如，用于SVM的）。因此，您对性能的估计可能是乐观的，因为您实际上是在报告最佳情况下的结果。正如该站点上的某些人已经提到的那样，优化是统计中万恶之源。$C$

性能评估应该始终对完全独立的数据进行。如果您要基于测试数据优化某个方面，那么您的测试数据将不再独立，您将需要验证集。

解决此问题的另一种方法是通过嵌套的交叉验证，该交叉验证由彼此包裹的两个交叉验证过程组成。内部交叉验证用于调整（以估计给定的一组超参数的性能，并对其进行优化），外部交叉验证用于估计整个机器学习管道的泛化性能（即，优化超参数+训练最终模型） ）。

我认为以这种方式思考事情最容易。交叉验证用于两件事：调整模型/算法的超级参数，以及评估模型/算法的性能。

将首次使用视为算法实际训练的一部分。例如，交叉验证以确定GLM的正则化强度是建立GLM最终结果的一部分。这种使用通常称为内部交叉验证。由于仍在设置（超）参数，因此调整集损耗并不是衡量实际算法性能的重要指标。

交叉验证的第二个用途是使用在生成模型的整个过程中保留的数据来测试其预测能力。此过程称为外部交叉验证。

请注意，内部验证可能是生成模型的过程的一部分，因此在许多情况下，内部和外部交叉验证都是必需的。

在模型构建期间，您可以在训练样本上训练模型。请注意，您可以训练不同的模型（即，不同的技术（例如SVM，LDA，随机森林等）或具有不同调整参数值的相同技术或混合技术）。

在您训练的所有不同模型中，您必须选择一个，因此您使用验证样本来找到测试样本中误差最小的模型。

对于此“最终”模型，我们仍然必须估计误差，因此我们使用测试样本。

交叉验证不能完全克服模型选择中的过度拟合问题，而只是减少了交叉验证。交叉验证错误取决于您使用的数据集。数据集越小，交叉验证误差就越大。

此外，如果您在模型选择中具有较高的自由度，则由于交叉验证标准过度拟合，存在模型表现不佳的危险。

因此，将数据分为2个集（又称为训练集和测试集）时，拆分是静态完成的。因此，有可能过度拟合训练集。但是，交叉验证集是通过不同的方法创建的，例如k折交叉验证，遗漏一交叉验证（LOOCV）等，可帮助确保消除2组分割的精确匹配奖励因此，减少了过度合身的机会。

这些是可以帮助您更好地理解的资源。

因此，当您拥有更大的数据集而不是较小的数据集时，交叉验证将为您提供帮助。