在线性回归中，为什么正则化也会同时惩罚参数值？

目前正在学习岭回归，对于更复杂的模型（或更复杂的模型的定义）的惩罚我感到有些困惑。

据我了解，模型复杂度不一定与多项式阶数相关。因此：是比更复杂的模型

2 + 3 + 4 X^{2} + 5 X^{3} + 6 X^{4}

$2 + 3+ 4x^2 + 5x^3 + 6x^4$

5 X^{5}

$5x^5$

而且我知道正则化的目的是保持模型复杂度低，例如说我们有一个五阶多项式

F （ X; w ） = w_{0} + w_{1个} X + w_{2} X^{2} + w_{3} X^{3} + w_{4} X^{4} + w_{5} X^{5}

$f(x; w) = w_0 + w_1x + w_2x^2 + w_3x^3 + w_4x^4 + w_5x^5$

参数越多，则0越好。

但是我不明白的是，如果是相同阶数的多项式，为什么较低的参数值会减少较少的损失？那么为什么会：

2 + 5 X + X^{3}

$2 + 5x + x^3$ 是比以下模型更简单的模型

433 + 342 X + 323 X^{3}

$433+ 342x + 323x^3$ 它们都是相同的多项式阶数，并且参数值仅取决于数据。

谢谢！

regression regularization hyperparameter

— 物理111
source

参数值仅取决于数据

这是您问题的关键部分。这是您感到困惑的地方。

是的，参数值取决于数据。但是，当我们拟合模型时，数据是固定的。换句话说，我们以观测值为条件拟合模型。比较适合不同数据集的不同模型的复杂性没有意义。

在固定数据集的背景下，

2 + 5 X + X^{3}

$2 + 5x + x^3$

实际上更接近于最简单的可能模型，即平坦零模型。

433 + 342 X + 323 X^{3} ，

$433+ 342x + 323x^3,$

不管您观察的规模如何，这都成立。

$2$ $433$ $2$ $433$

— 斯蒂芬·科拉萨（Stephan Kolassa）
source

较低的幅度系数比较高的系数离平坦零更远？这是错字，还是我误解了为什么远离常数的模型没有像接近常数的模型那样受到惩罚？

— RM

抱歉，确实是错字。让我编辑。感谢您指出了这一点！

— 斯蒂芬·科拉萨