重复k折交叉验证的报告差异

我一直在使用重复的k倍交叉验证，并一直报告（交叉评估的不同运行折叠倍数的平均值作为评估指标的平均值）。

但是，我不确定如何报告差异。我在这里发现了许多关于重复交叉验证的问题，但是，我所知没有一个问题明确回答了重复交叉验证测试中的方差问题。

我知道总方差是由于：1）模型的不稳定性和2）样本数量有限。

似乎有4种不同的方法可以计算出重复k倍交叉验证的方差：

1）交叉验证运行期间估计的平均性能指标（例如准确性）的方差是否是方差的有效估计？

2）通过汇总特定于运行的差异（在交叉验证测试的不同倍数中计算得出）来汇总差异。

3）将来自大型向量中交叉验证的不同折叠的分类结果串联起来。例如，如果每个折叠中的测试数据数量为10，而我的CV为10倍，则所产生的重复矢量将为100。现在，如果我将交叉验证测试重复10次，我将包含10个大小为100的向量，每个向量都包含10倍CV运行的分类结果。现在，我将像单次运行CV一样计算均值和方差。

4）我也读过（等式2和3合1），方差是外部方差和预期内部方差的总和。如果我理解正确，则外部方差是特定于重复的平均性能的方差，内部方差是交叉验证的不同倍数之间的方差。

非常感谢您的帮助和指导，以便为重复的交叉验证测试报告适当的差异。

谢谢，

在我看来1和3无效，因为它们没有考虑重复运行之间的依赖性。换句话说，重复的k倍遍历比具有独立数据的实验的真实重复更加相似。

2没有考虑同一运行中折叠之间的依赖性。

我不知道4。

可能相关（且令人沮丧）的参考文献是Bengio＆Grandvalet，2004，“ K折交叉验证方差的无偏估计”。