留一法交叉验证的高方差

我一遍又一遍地读到，由于训练折叠的大量重叠，“留一法”交叉验证具有很大的差异。但是，我不明白为什么这样：正是因为训练集几乎相同，交叉验证的性能不应该非常稳定（方差低）吗？还是我对“方差”的概念有完全错误的理解？

我也不太了解LOO如何保持公正，但差异很大？如果LOO估计值等于期望的真实估计值-那么它怎么会有高方差？

注意：我知道这里有一个类似的问题： 为什么关于误差的平均估计的留一法交叉验证（LOOCV）方差很高？但是，回答该问题的人稍后在评论中说，尽管提出了反对，但他已经意识到他的回答是错误的。

由于交叉验证中存在方差和偏差，这个问题可能最终会被关闭：为什么留一法的简历具有更高的方差？，但是在此之前，我想我会将自己的评论变成答案。

我也不太了解LOO如何保持公正，但差异很大？

考虑一个简单的例子。令参数的真实值为。一个估计器的产率0.49 ，0.51 ，0.49 ，0.51 ...是无偏的并且具有相对低的方差，但估计器即产率0.1 ，0.9 ，0.1 ，0.9 ...也是无偏但具有高得多的方差。$0.5$$0.49,0.51,0.49,0.51...$$0.1,0.9,0.1,0.9...$

正是因为训练集几乎相同，交叉验证的性能不应该非常稳定（方差低）吗？

您需要考虑整个数据集的不同实现之间的差异。对于给定的数据集，留一法交叉验证的确会为每个拆分生成非常相似的模型，因为训练集相交了很多（如您所正确注意到的），但是这些模型可能都与真实模型相去甚远。跨数据集，它们在不同方向上相距遥远，因此差异很大。

至少我是这样理解的。请参阅链接的线程进行更多讨论，并参阅参考文件进行更多讨论。

这种高差异是针对训练集的空间。这就是LOOCV具有高方差的原因：在LOOCV中，我们使用除此观测值外的整个观测数据集，得出每个观测值（即观测值i）的预测误差。因此，i的预测值非常依赖于当前数据集。现在假设我们观察到另一个独立的数据集，并在此新数据集上拟合模型。如果我们使用这个新模型来获得观测值i的预测值，则该预测值可能与LOOCV评估的预测值有很大差异（尽管平均正确（无偏））。

这是LOOCV中错误预测的高方差背后的直觉。

但是，如果您使用LOOCV来比较具有不同超参数的模型的结果，那么我相信您可以放心地使用LOOCV来估计预测误差，只要预测误差的真实值与您无关，也就是说，您只想比较具有观察到的训练集的不同模型，您无需担心要估计的实际真实误差。

也就是说，根据经验，如果样本量较小，请使用LOOCV，否则，请使用k值较小的k倍CV。