在模型方差和偏差方面，不同的交叉验证方法如何比较？

我的问题部分源于此线程：折交叉验证中的最佳折叠数：留一法CV始终是最佳选择吗？$K$ ķ。那里的答案表明，通过留一法交叉验证学习的模型具有比通过常规倍交叉验证法学习的模型更高的方差，这使得留一法CV成为较差的选择。$K$

但是，我的直觉告诉我，在留一式CV中，模型之间的方差应该比折CV 中的方差小，因为我们仅跨折移动一个数据点，因此折之间的训练集实质上重叠。$K$

或朝另一个方向发展，如果折CV 中的较低，则训练集的折折将完全不同，并且所得的模型更有可能不同（因此方差更高）。$K$$K$

如果上述论点是正确的，为什么用留一法CV学习的模型会有更高的方差？

为什么采用留一法CV学习的模型具有更高的方差？

[TL：DR]最近的帖子和辩论摘要（2018年7月）

该主题在本站点和科学文献中均已被广泛讨论，其观点，直觉和结论相互矛盾。早在2013年首次提出这个问题时，主要观点是LOOCV导致训练算法从大小为的样本中生成模型的预期泛化误差的较大方差。$n(K−1)/K$

但是，这种观点似乎是对特殊情况的错误概括，我认为正确答案是：“取决于……”。

对伊夫·格兰瓦莱特（Yves Grandvalet）的解读，是2004年关于该主题的论文的作者，我将直觉论点总结如下：

1. 如果交叉验证是对独立估计值求平均，那么留一法式简历应该在模型之间看到相对较低的方差，因为我们仅在折痕上移动一个数据点，因此折痕之间的训练集实质上重叠。
2. 当训练集高度相关时，情况并非如此：相关性可能随着K的增加而增加，并且这种增加导致第二种情况下方差的整体增加。直觉上，在那种情况下，留一手CV可能对存在的不稳定视而不见，但可能不会因更改训练数据中的单个点而被触发，这使其对于训练集的实现高度可变。

我本人和其他人在此站点上进行的实验模拟以及下面链接的论文中的研究人员进行的模拟表明，该主题没有普遍的真理。大多数实验都具有随单调减小或恒定的方差，但是一些特殊情况表明随增大了方差。$K$$K$

该答案的其余部分建议对一个玩具示例进行模拟，并进行非正式的文献综述。

[更新]您可以在这里找到存在异常值的不稳定模型的替代模拟。

玩具示例中的仿真显示出减小/恒定的方差

考虑下面的玩具示例，其中我们将4级多项式拟合到嘈杂的正弦曲线。如学习曲线所示，由于过度拟合，我们预计该模型在小型数据集上的表现不佳。

请注意，我们在此处绘制1-MSE，以重现ESLII第243页的插图

 方法

您可以在此处找到此仿真的代码。该方法如下：

1. 产生从分发10000点其中的真实方差是已知$sin(x) + \epsilon$$\epsilon$
2. 重复次（例如100或200次）。在每次迭代中，通过从原始分布中重新采样个点来更改数据集$i$$N$
3. 对于每个数据集： $i$
   • 执行K-折交叉验证用于一个值$K$
   • 存储整个K折的平均均方误差（MSE）
4. 一旦完成对的循环，对于相同的值，计算数据集上MSE的均值和标准差我$i$$i$$K$
5. 一直对范围内的所有重复上述步骤，直到留下一个CV（LOOCV）{ 5 ，。。。，N $K$$\{ 5,...,N\}$

对数据集的MSE偏差和方差的影响。$K$$i$

左侧：Kfolds用于200个数据点， 右侧：Kfolds用于40个数据点

MSE的标准偏差（跨数据集i）与Kfolds

通过此模拟，似乎：

• 对于小数目个数据点，增加直到左右显著改善了偏差和方差。对于较大的，对偏差或方差都没有影响。K K = 10 $N = 40$$K$$K=10$$K$
• 直觉是，对于太小的有效训练量，多项式模型非常不稳定，尤其是对于$K \leq 5$
• 对于较大的增加对偏差和方差均无特殊影响。$N = 200$$K$

非正式文献回顾

以下三篇论文研究了交叉验证的偏差和方差

• 罗恩·科哈维（1995）
• 伊夫·格兰维尔（Yves Grandvalet）和本舒吉（Yoshua Bengio）（2004）
• 张和杨（2015）

Kohavi 1995

本文经常被认为是LOOC具有较高方差的论点。在第1节中：

“例如，休假率几乎没有偏见，但差异很大，导致估算值不可靠（Efron 1983）”

这种说法引起了很多混乱，因为它似乎是1983年的埃夫隆（Efron）而不是科哈维（Kohavi）的。Kohavi的理论论证和实验结果都违背了这一说法：

推论2（简历中的差异）

给定一个数据集和一个诱导子。如果诱导剂引起的删除测试实例为在k倍CV的褶皱为各种值的扰动下是稳定的，则估计的方差将是相同的$k$

实验 在他的实验中，Kohavi比较了UC Irvine存储库中多个数据集的两种算法：C4.5决策树和朴素贝叶斯分类器。他的结果如下：LHS是准确性vs倍数（即偏差），RHS是标准偏差vs倍数。

实际上，只有三个数据集上的决策树显然具有增加K的方差。其他结果显示方差减小或恒定。

最后，尽管结论的措辞可以说得更强烈，但没有论据表明LOO具有更高的方差，而恰恰相反。从第6节开始。

“具有中等k值（10-20）的k倍交叉验证减少了方差...随着k减少（2-5）并且样本变小，由于训练集本身的不稳定性，存在方差。

张杨

作者对此主题持强烈看法，并在7.1节中明确指出

实际上，至少平方线性回归，Burman（1989）表明，在k倍CV中，在估计预测误差时，LOO（即n倍CV）具有最小的渐近偏差和方差。...

...然后进行理论计算（Lu，2007）表明，在考虑了所有可能的n_v个删除的所有delete-n个CV中，LOO同时具有最小的偏差和方差

实验结果 同样，Zhang的实验指向随着K减小方差的方向，如下图3和图5所示的True模型和错误模型所示。

方差随增加的唯一实验是套索模型和SCAD模型。第31页的解释如下：$K$

但是，如果涉及模型选择，则由于模型空间大，惩罚系数小和/或使用数据驱动的惩罚系数而导致模型选择的不确定性变高，LOO的性能会变差。

在倍交叉验证我们划分一个数据集到相等大小的非重叠子集。对于每个折叠，在上训练模型，然后在对其进行评估。例如，预测误差的交叉验证估计器被定义为每次折叠获得的预测误差的平均值。ķ 小号小号我小号∖ 小号我小号$k$$k$$S$$S_i$$S \setminus S_i$$S_i$

虽然在评估模型的测试集之间没有重叠，但是对于所有，训练集之间都存在重叠。对于留一法式交叉验证，重叠是最大的。这意味着学习的模型是相关的，即是相关的，并且相关变量之和的方差随协方差量的增加而增加（请参阅Wikipedia）：$k>2$

因此，与较小的CV相比，留一法交叉验证具有较大的方差。$k$

但是，请注意，尽管双重交叉验证不存在训练集重叠的问题，但由于训练集仅是原始样本大小的一半，因此通常也存在较大差异。一个很好的折衷方案是十倍交叉验证。

一些有趣的论文涉及这个主题（更多）：

• 罗恩·科哈维（Ron Kohavi）进行交叉验证和自举的准确性估计和模型选择研究
• Yoshua Bengio和Yves Grandvalet 没有k倍交叉验证方差的无偏估计

[...]我的直觉告诉我，在留一式CV中，模型之间的方差应该比折CV 中的方差小，因为我们仅在折点之间移动一个数据点，因此训练在折点之间进行基本上重叠。$K$

我认为，如果您正在考虑模型在每个留一折下的预测，那么您的直觉是明智的。它们基于相关/非常相似的数据（完整数据集减去一个数据点），因此将做出相似的预测-即低可变性。

但是，混淆的根源是，当人们谈论导致高度可变性的LOOCV时，他们并不是在谈论在保留集的交叉验证循环中建立的许多模型所做出的预测。相反，他们在谈论的是，如果您在新的训练集中训练精确的模型/参数，最终选择的模型（通过LOOCV选择的模型）将具有多少可变性-训练集从未出现过。在这种情况下，可变性会很高。

为什么变异性会很高？让我们简化一下。想象一下，您没有使用LOOCV来选择模型，而是拥有一个训练集，然后测试了使用该训练数据构建的模型，例如，对100个单个测试数据点进行了100次测试（数据点不属于训练集） 。如果您选择在这100个测试中效果最好的模型和参数集，那么您将选择一个模型和参数集，该模型和参数集可以使此特定训练集真正擅长预测测试数据。您可能会选择一个模型，该模型捕获该特定训练数据集和保留数据之间100％的关联。不幸的是，训练数据集和测试数据集之间的某些关联将是噪声或虚假关联，因为尽管测试集发生了变化，但您可以在这一侧识别出噪声，训练数据集没有，您无法确定由噪声引起的解释方差。换句话说，这意味着已经将您的预测与该特定训练数据集过度拟合。

现在，如果您要在新的训练集上用相同的参数多次训练该模型，会发生什么？好吧，当训练集发生更改时（即略微更改训练集，并且该模型将大幅更改其预测），过度适合特定训练数据集的模型将导致其预测发生变化。

因为LOOCV中的所有折叠都是高度相关的，所以它与上面的情况相似（相同的训练集；不同的测试点）。换句话说，如果特定的训练集与那些测试点具有某些虚假的相关性，那么您的模型将很难确定哪些相关性是真实的，哪些是虚假的，因为即使测试集发生了变化，训练集也不会。

相反，较少的训练折叠相关性意味着该模型将适合于多个唯一数据集。因此，在这种情况下，如果您在另一个新的数据集上对模型进行训练，则会得出相似的预测（即，较小的可变性）。

尽管这个问题比较老，但我想补充一个答案，因为我认为有必要进一步澄清一下。

我的问题部分是由该线程引起的：K折交叉验证中的最佳折数：单挑CV始终是最佳选择吗？。那里的答案表明，通过留一法交叉验证学习的模型比通过常规K折交叉法学习的模型具有更高的方差，这使得留一法CV成为较差的选择。

该答案并不表明，也不应如此。让我们查看那里提供的答案：

留一法交叉验证通常不会产生比K倍更好的性能，并且更可能更糟，因为它具有相对较高的方差（即，其值在不同数据样本中的变化多于K值）。 k倍交叉验证）。

它在谈论性能。在这里，性能必须理解为模型误差估计器的性能。当使用这些技术选择模型并提供误差估计时，您要用k倍或LOOCV来估计模型的性能。这不是模型方差，而是（模型的）误差估计量的方差。请参见下面的示例（*）。

但是，我的直觉告诉我，在遗忘式简历中，模型之间的方差应该比在K折简历中要小，因为我们只在折页间移动一个数据点，因此折页之间的训练集会大大重叠。

$n-2$$n$

正是由于模型之间的较低方差和较高的相关性，使得我上面讨论的估计量具有更大的方差，因为该估计量是这些相关量的均值，并且相关数据的均值方差高于不相关数据的均方差。这里显示了原因： 相关数据和非相关数据的均值方差。

或朝另一个方向发展，如果K折CV中的K较低，则训练集的折折将完全不同，并且所得模型更有可能不同（因此方差更高）。

确实。

如果上述论点是正确的，为什么用留一法CV学习的模型会有更高的方差？

上面的论点是正确的。现在，这个问题是错误的。模型的差异是一个完全不同的主题。有一个随机变量的方差。在机器学习中，您处理许多随机变量，尤其是但不限于：每个观察值都是随机变量；样本是随机变量；由于该模型是根据随机变量训练的，因此该模型是随机变量；您的模型在面对总体时将产生的误差的估计量是一个随机变量；最后但并非最不重要的一点是，模型的误差是一个随机变量，因为总体中可能存在噪声（这称为不可约误差）。如果模型学习过程涉及随机性，那么随机性也可能更大。区分所有这些变量至关重要。

$err$$err$$E$$\tilde{err}$$\tilde{err}$$var(\tilde{err})$$E(\tilde{err}-err)$$var(\tilde{err})$$k-fold$$k < n$$err = 10$$\tilde{err}_1$$\tilde{err}_2$

最后一个尽管具有更大的偏见，但应首选，因为它具有更少的方差和可接受的偏见，即折衷（偏见-偏见的权衡）。请注意，如果两者都带有很高的偏差，那么您都不希望偏差很小！

附加说明：在此答案中，我试图澄清（我认为是什么）围绕该主题的误解，尤其是尝试一点一点地回答提问者的确切疑问。特别是，我试图弄清楚我们正在谈论的是哪个方差，这正是这里要问的。即，我解释了由OP链接的答案。

话虽这么说，虽然我提供了主张背后的理论依据，但我们尚未找到确凿的经验证据来支持这一主张。因此，请非常小心。

理想情况下，您应该先阅读这篇文章，然后参考Xavier Bourret Sicotte的答案，该答案提供了关于经验方面的深入讨论。

$k$$k-fold$$k$10 × 10 − f o l d$10 \ \times \ 10-fold$

这些问题确实是微妙的。但是，LOOCV通常具有较大的变化绝对是不正确的。最近的一篇文章讨论了一些关键方面，并解决了一些关于交叉验证的看似普遍的误解。

张永利和杨玉红（2015）。选择模型选择程序的交叉验证。计量经济学杂志，第一卷。187，95-112。

直到现在，以下误解在文献中也很常见：

“留一出式（LOO）简历比留出一分简历的简历偏差小，但方差大”

这种观点很受欢迎。例如，科哈维（Kohavi，1995，第1节）指出：“例如，留一法几乎没有偏见，但差异很大，导致估计值不可靠”。但是，这种说法通常并不正确。

更详细地：

在文献中，甚至包括最近的出版物，都提出了过多的建议。Kohavi（1995）使用10倍CV的一般建议已被广泛接受。例如，Krstajic等人（2014年，第11页）指出：“ Kohavi [6]和Hastie等人[4]从经验上表明，与留一法式交叉验证相比，V折交叉验证的方差较小”。因此，他们在所有数值研究中都采用10倍CV（重复）的建议。我们认为，这种做法可能会产生误导。首先，不应有任何不考虑使用简历的目标的一般建议。尤其是，候选模型/建模过程的CV精度估计的偏差和方差的检查与最佳模型选择（具有前面提到的模型选择的两个目标之一）可能是完全不同的问题。其次，即使限于准确性估计上下文，该声明通常也不正确。对于不稳定性较低的模型/建模过程，LOO通常具有最小的可变性。我们还证明，对于高度不稳定的程序（例如pn远大于n的LASSO），由于偏差增加甚至更大，因此10倍或5倍CV在降低可变性的同时，MSE可能比LOO大得多。对于不稳定性较低的模型/建模过程，LOO通常具有最小的可变性。我们还证明，对于高度不稳定的程序（例如pn远大于n的LASSO），由于偏差增加甚至更大，因此10倍或5倍CV在降低可变性的同时，MSE可能比LOO大得多。对于不稳定性较低的模型/建模过程，LOO通常具有最小的可变性。我们还证明，对于高度不稳定的程序（例如pn远大于n的LASSO），由于偏差增加甚至更大，因此10倍或5倍CV在降低可变性的同时，MSE可能比LOO大得多。

总体而言，从图3-4可以看出，LOO和重复的50倍和20倍CV在这里是最好的，10倍显着更差，k≤5显然很差。对于预测性能评估，我们倾向于认为LOO在偏差和方差方面通常是最佳的，或者是固定模型或非常稳定的建模过程（例如，本文中的BIC）中的最佳值，或者在最佳状态中接近最佳值。 MSE用于更不稳定的程序（例如AIC或pSO n的LASSO）。尽管有时10倍CV（带有重复）当然可能是最好的，但更常见的是，它处于尴尬的位置：预测误差估计比LOO（由于偏差问题）风险更大，通常比删除差-n / 2简历，用于确定最佳候选人。

在讨论偏差和方差之前，第一个问题是：

交叉验证估计了什么？

$K$$n(K-1)/K$$K$$K$

$K$

$K$

$K$

我认为有一个更直接的答案。如果增加k，则测试集将变得越来越小。由于褶皱是随机抽样的，因此在较小的测试集上可能会发生，但对于较大的测试集则不太可能，因为它们不能代表随机混洗。一个测试集可能包含所有难以预测的记录，而另一个则包含所有容易预测的记录。因此，当您预测每折叠非常小的测试集时，方差很高。