过度拟合的数学/算法定义

是否存在关于过度拟合的数学或算法定义？

通常提供的定义是经典的二维点图，其中一条线穿过每个点，而验证损失曲线突然上升。

但是在数学上有严格的定义吗？

是的，有一个（稍微更多）严格的定义：

给定具有一组参数的模型，如果经过一定数量的训练步骤后，训练误差继续减小而样本外（测试）误差开始增加，则可以说该模型过度拟合了数据。

^{在此示例中，样本外（测试/验证）误差首先与火车误差同步降低，然后在第90个时期（即过拟合开始时）开始增加}

另一种看待它的方式是偏见和方差。模型的样本外错误可以分解为两个部分：

• 偏差：由于估算模型的期望值与真实模型的期望值不同而导致的误差。
• 差异：由于模型对数据集中的细微波动敏感，因此会产生错误。

当偏差低但方差高时，发生过度拟合。对于真实（未知）模型为的数据集：$X$

$Y = f(X) + \epsilon$ -是在数据集中的不可约噪音，具有和， $\epsilon$$E(\epsilon)=0$$Var(\epsilon) = \sigma_{\epsilon}$

估计模型为：

$\hat{Y} = \hat{f}(X)$，

那么测试错误（对于测试数据点）可以写成：$x_t$

$Err(x_t) = \sigma_{\epsilon} + Bias^2 + Variance$

带有 和 $Bias^2 = E[f(x_t)- \hat{f}(x_t)]^2$$Variance = E[\hat{f}(x_t)- E[\hat{f}(x_t)]]^2$

（严格来说，这种分解适用于回归情况，但类似的分解适用于任何损失函数，即也适用于分类情况）。

以上两个定义都与模型的复杂性有关（根据模型中参数的数量来衡量）：模型的复杂性越高，发生过度拟合的可能性就越大。

有关该主题的严格数学处理方法，请参见《统计学习要素》的第7章。

^{偏置-方差的权衡和方差（即过度拟合）随着模型复杂性的增加而增加。摘自ESL第7章}