留一法交叉验证如何工作？如何从不同的模型中选择最终模型？

我有一些数据，我想根据这些数据建立模型（例如线性回归模型）。下一步，我想在模型上应用“留一法”交叉验证（LOOCV），以便了解其性能。

如果我对LOOCV的理解正确，那么我将使用除该样本（训练集）之外的每个样本为每个样本（测试集）建立一个新模型。然后，我使用该模型预测测试集并计算误差。$(\text{predicted} - \text{actual})$

在下一步中，我汇总使用所选函数生成的所有误差，例如均方误差。我可以使用这些值来判断模型的质量（或拟合优度）。

问题：这些质量值适用的模型是哪个模型，因此，如果我发现从LOOCV生成的度量适合我的情况，我应该选择哪个模型？LOOCV研究了种不同的模型（其中是样本量）；我应该选择哪种型号？$n$$n$

• 是使用所有样本的模型吗？在LOOCV流程中从未计算过该模型！
• 是误差最小的模型吗？

最好将交叉验证视为一种估计由特定过程生成的模型而不是模型本身的泛化性能的方法。留一法交叉验证本质上是对在个数据样本上训练的模型的泛化性能的估计，通常是对在样本上训练的模型的性能的稍微悲观的估计。$n-1$$n$

与其选择一个模型，不如做的是使模型适合所有数据，并使用LOO-CV为该模型的性能提供稍微保守的估计。

但是请注意，LOOCV具有很大的方差（如果使用不同的随机数据样本，则您获得的值将有很大的不同），这通常使它成为性能评估估计器的错误选择，即使它近似无偏。我一直在使用它进行模型选择，但这实际上只是因为它很便宜（对于我正在研究的内核模型来说几乎是免费的）。