术语“最佳匹配”和交叉验证中使用的“最佳”的定义是什么？

如果将非线性函数拟合到一组点（假设每个横坐标只有一个纵坐标），则结果可以是：

1. 残差很小的非常复杂的函数
2. 具有大量残差的非常简单的函数

交叉验证通常用于在这两个极端之间找到“最佳”折衷方案。但是“最佳”是什么意思？是“最有可能”吗？您甚至将如何证明最可能的解决方案是什么？

我内心的声音告诉我，简历正在寻找某种最低限度的能源解决方案。这让我想到了熵，我隐约知道它在统计和物理学中都会发生。

在我看来，“最佳”拟合是通过最小化复杂度和误差函数的总和而产生的，即

minimising m where m = c(Complexity) + e(Error)

这有意义吗？函数c和e是什么？

请您能用非数学语言来解释，因为我对数学不太了解。

我认为这是一个很好的问题。我将对其进行阶段化，以确保我做对了：

似乎有很多方法可以选择复杂度惩罚函数和错误惩罚函数e。哪个选择是“最佳”。最好的意思是什么？$c$$e$

我认为答案（如果有的话）将使您超越交叉验证的范围。我喜欢这个问题（以及整个主题）与Occam的Razor和对科学至关重要的简约的一般概念如何紧密地联系在一起。我绝不是这个领域的专家，但是我发现这个问题非常有趣。在这类问题上，我所知道的最好的文章是Marcus Hutter撰写的《通用人工智能》（尽管不要问我任何问题，我还没有阅读大部分）。几年前，我参加了哈特（Hutter）的演讲，给我留下了深刻的印象。

您认为在某处存在一个最小熵参数是正确的（以某种方式用于复杂度惩罚函数）。Hutter提倡使用Kolmogorov复杂度代替熵。同样，哈特对“最佳”的定义（据我所记得）是（非正式地）最能预测未来的模型（即，最能预测未来将观察到的数据）。我不记得他是如何形式化这一概念的。$c$

我将提供一个简短的直观答案（相当抽象的水平），直到其他人提供更好的答案为止：

首先，请注意，复杂的函数/模型可以更好地拟合（即残差较低），因为它们利用了数据集的某些局部特征（认为是噪声），而这些局部特征并未全局存在（认为是系统模式）。

其次，在执行交叉验证时，我们将数据分为两组：训练集和验证集。

因此，当我们执行交叉验证时，复杂的模型可能无法很好地预测，因为根据定义，复杂的模型将利用训练集的局部特征。但是，与验证集的局部特征相比，训练集的局部特征可能会非常不同，从而导致不良的预测性能。因此，我们倾向于选择一种可捕获训练和验证数据集全局特征的模型。

总之，交叉验证可通过选择捕获数据集全局模式的模型并避免使用数据集某些局部特征的模型来防止过度拟合。

在一般的机器学习视图中，答案非常简单：我们希望构建一个模型，该模型在预测新数据时会具有最高的准确性（在训练过程中看不见）。因为我们不能直接测试（我们没有来自未来的数据），所以我们对这种测试进行了蒙特卡洛模拟-这基本上就是交叉验证下的想法。

关于准确度可能存在一些问题（例如，业务客户可以说，每单位超调成本为5欧元，每单位低于100欧元，因此，建立一个准确度较低但更不足的模型比较好），但通常是分类中真实答案的相当直观的百分比，并且在回归分析中被广泛使用的解释方差。

很多人都有很好的答案，这是我的$ 0.02。

从统计角度来看，有两种方法可以查看“最佳模型”或“模型选择”：

1解释尽可能简单，但不要更简单（Attrib。Einstein）

- This is also called Occam's Razor, as explanation applies here.
- Have a concept of True model or a model which approximates the truth
- Explanation is like doing scientific research

2预测很重要，类似于工程开发。

- Prediction is the aim, and all that matters is that the model works
- Model choice should be based on quality of predictions
- Cf: Ein-Dor, P. & Feldmesser, J. (1987) Attributes of the performance of central processing units: a relative performance prediction model. Communications of the ACM 30, 308–317.

广泛的（误）概念：

选择模型等同于选择最佳模型

为了进行解释，我们应该警惕可能存在几个（大致）同样好的解释模型。简单性有助于传达模型中包含的概念以及心理学家所说的泛化，即在与研究模型非常不同的情况下“工作”的能力。因此，在少数几个型号上存在溢价。

预测：（雷普利博士）的一个很好的类比是在专家意见之间进行选择：如果您可以访问大量专家小组，您将如何使用他们的意见？

交叉验证负责预测方面。有关简历的详细信息，请参阅BD Ripley博士的演讲博士的演示文稿Brian D. Ripley博士的模型选择演示文稿

引用：请注意，此答案中的所有内容均来自上述引用。我非常喜欢这个演讲，我也喜欢。其他意见可能会有所不同。演讲的标题是：“从大型模型中选择”，并由Brian D. Ripley博士在2004年3月29日至30日于帝国学院举行的纪念约翰·内尔德80岁生日的研讨会上发表。

这里的讨论很棒，但是我认为交叉验证的方式与迄今为止的答案不同（我认为mbq和我在同一页上）。因此，我将投入两美分，以免使河水浑浊...

交叉验证是一种统计技术，用于评估由于采样误差导致的模型拟合和预测数据能力的变异性和偏差。因此，“最佳”将是提供最低泛化误差的模型，该误差将以可变性和偏差为单位。基于交叉验证工作的结果，可以使用诸如贝叶斯和Bootstrap模型平均等技术来以算法方式更新模型。

该常见问题解答提供了很好的信息，以更多地了解我的观点。

误差函数是您的模型（函数）在训练数据上的误差。复杂度是您要学习的函数的某些范数（例如，平方2范数）。最小化复杂度术语实质上有利于平滑函数，这些函数不仅在训练数据上而且在测试数据上都很好。如果用一组系数表示函数（例如，如果要进行线性回归），则用平方范数惩罚复杂度会导致函数中的系数值较小（惩罚其他范数会导致复杂度控制的概念不同）。

$(p,q)\geq 1,\;\lambda>0$

$(1)\;\underset{\beta|\lambda,x,y}{Arg\min.}||y-m(x,\beta)||_p+\lambda||\beta||_q$

相当于

$(2)\;\underset{\beta|\lambda,x,y}{Arg\min.}||y-m(x,\beta)||_p$

$s.t.$ $||\beta||_q\leq\lambda$

$||\beta||_q\leq\lambda$$q=1,2$$\hat{\beta}$$\hat{\beta}$

$\lambda$$\lambda=\infty$$(x,y)$$(1)-(2)$$\lambda$$\hat{\beta}|\lambda$

$e()=||y-m(x,\beta)||_p$）这是因为 $p=1$ （$p=2$）这种模型与观测值之间距离的度量具有（容易地）可导出的渐近性质（强烈收敛到有意义的总体cooperparts $m()$）。