罚线性回归的几何解释

我知道线性回归可以认为是“垂直上最接近所有点的线”：

但是，通过可视化列空间，还有另一种查看方式，即“在系数矩阵的列所跨越的空间上的投影”：

我的问题是：在这两种解释中，当我们使用惩罚线性回归（如岭回归和 LASSO）时会发生什么？在第一个解释中该行会发生什么？在第二种解释中，投影会发生什么？

更新： @JohnSmith在评论中提到了惩罚发生在系数空间中的事实。在这个领域也有解释吗？

对不起，我的绘画技巧，我将尽力给您以下直观信息。

$f(\beta)$$\beta$$\beta_1$$\beta_2$

在红色圆圈中间，此功能最少。这个最小值为我们提供了非惩罚性的解决方案。

$g(\beta)$$g(\beta) = \lambda (|\beta_1| + |\beta_2|)$$g(\beta) = \lambda (\beta_1^2 + \beta_2^2)$$\lambda$$\lambda$$g(x)$

$f(\beta) + g(\beta)$

惩罚越大，我们得到的“越窄”的蓝色轮廓，然后各图在接近零的点彼此相遇。反之亦然：惩罚越小，轮廓线扩大，蓝色和红色曲线的交点越靠近红色圆圈的中心（非惩罚解）。

$\beta_1 = 0$$\beta_2 = 0$

$0$

希望这能解释一些关于在参数空间中惩罚回归如何工作的直觉。

我的直觉如下：在最小二乘情况下，帽子矩阵是正交投影，因此是幂等的。在惩罚的情况下，帽子矩阵不再是幂等的。实际上，无限次地应用它会把系数缩小到原点。另一方面，系数仍必须位于预测变量的范围内，因此尽管不是正交的，但仍是一个投影。惩罚因子的大小和规范的类型控制着缩向原点的距离和方向。