交叉验证和参数优化

使用10倍交叉验证时，我对参数优化存在疑问。

我想问一下，在每次折叠的模型训练过程中参数是否应该固定，即（1）为每个折叠的平均精度选择一组优化的参数。

要么

（2）我应该为每个折页找到优化参数，然后每个折页使用不同的优化参数来训练其模型，然后分别对折页的测试数据进行测试，最后平均每个折页的准确性作为结果？

交叉验证的正确方法是哪一种？非常感谢。

首先让我们区分两组参数：模型参数（例如，回归中特征的权重）和学习算法的参数（和超参数）。交叉验证的目的是确定学习参数，这些参数在我们从每个折叠中学习的总体样本中都能很好地概括。

更具体地说：我们在学习参数的全局范围内进行搜索，但是在每一折叠中，我们固定学习参数并学习模型参数。结果应该是学习参数，这些参数平均可以在所有方面产生最佳性能。然后，我们可以使用它们在整个数据集上训练模型。

我认为目前接受的答案是不幸的，是不完整的。我不同意这句话

交叉验证的目的是确定学习参数，这些参数在我们从每个折叠中学习的总体样本中都能很好地概括。

这确实是交叉验证的一个非常重要的应用，但不是唯一的。通常，您想做两件事：

1. 建立最佳模型
2. 准确了解其性能

现在，要根据您的算法来完成目标1，您可能需要调整一些超参数，而这实际上通常是通过交叉验证来完成的。但这还不能帮助您实现目标2。为此，您需要基本上嵌套交叉验证，如下所示：

• 将整个数据分成n个折叠
• 对于每个折叠，将训练数据再次分成子折叠
• 在子折叠上使用交叉验证以学习良好的超参数
• 利用这些超参数，可以在该折叠的训练数据上建立模型
• 在测试数据上测试模型
• 在下一个折叠重复

要建立一个好的模型，您只需要内部交叉验证。您仍然需要这样做以获得良好的模型。但是要获得对模型性能的良好估计，您需要在交叉验证方案中执行模型构建的整个过程。这还包括插补等步骤。