了解负岭回归

我正在寻找有关负脊回归的文献。

总之，它是用负线性岭回归的一般化 $\lambda$ 的估计公式

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$ 肯定的案例有一个很好的理论：作为损失函数，作为约束，作为贝叶斯先验...但我仅凭上述公式感到对否定版本感到迷惑。它恰好对我正在做的事情有用，但是我无法清楚地解释它。

您是否了解有关负山脊的严肃入门文字？如何解释？

regression regularization ridge-regression

— 贝诺伊特·桑切斯（Benoit Sanchez）
source

我不知道有任何介绍性的文章，但是这个来源可能很有启发性，尤其是在第18页底部的讨论：jstor.org/stable/4616538?seq=

— Ryan Simmons

如果将来链接消失，完整的引文是：Björkström，A.和Sundberg，R.“关于连续回归的广义视图”。斯堪的纳维亚统计杂志，26：1（1999）：第17-30页

— 瑞安·西蒙斯

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

此处提到的负脊： stats.stackexchange.com/questions/328630/… 有一些链接

— kjetil b halvorsen 18-4-15

这是负脊发生了什么的几何图示。

我将考虑形式为估计量由损失函数这是使用二维情况下发生的情况的相当标准的说明。零lambda对应于OLS解决方案，无限lambda会将估计的beta缩小为零：

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

现在考虑当时会发生什么，其中是的最大奇异值。对于非常大的负lambda，当然接近零。当lambda接近，项得到一个接近零的奇异值，这意味着逆数的一个奇异值将减去负无穷大。这个奇异值对应于的第一个主成分，因此在极限处，指向PC1的方向，但绝对值增长到无穷大。 $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

真正的好处是，可以用相同的方式将其绘制在同一图形上：Beta是由圆从内部接触椭圆的点给出的：

当，将应用类似的逻辑，从而允许在OLS估计器另一侧继续走脊线路径。现在，圆从外部触及椭圆。极限，beta接近PC2方向（但发生在此草图之外）： $\lambda\in(-s^2_\mathrm{min},0]$

在范围的东西能隙：估计有不住同一曲线上。 $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

更新： @MartinL在评论中解释说，对于，损失没有最小值，但具有最大值。该最大值由。这就是为什么用圆/椭圆触摸相同的几何构造继续起作用的原因：我们仍在寻找零梯度点。当，损耗确实具有最小值，并且由，与正常情况下完全相同情况。 $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

但是，当，损失既没有最大值也没有最小值。对应于鞍点。这解释了“能量缺口”。 $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

该自然从一个特定的约束岭回归产生，参见“单位方差”脊回归估计的时限。这与化学计量学文献中所谓的“连续回归”有关，请参见链接中的答案。 $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

所述可以以完全相同的方式被处理损耗函数保持不变和脊估计器提供其最小： $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— 变形虫说恢复莫妮卡
source

感谢您提供有趣的图表。当，您绘制的解决方案是成本函数的全局最大值，而不是全局最小值。类似地，当，绘制的点应为成本函数的鞍点。

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— Martin L

仅考虑成本函数中的二次项。它们可以写为令，则括号中的矩阵仅具有负特征值。令，并且矩阵同时具有正和负特征值。这些特征值影响该点是成本函数的鞍点，最小点还是最大点。

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— Martin L

这非常有帮助，非常感谢。我更新了我的答案。

— 变形虫说恢复莫妮卡

谢谢。特别是为了意识到鞍点仅在。当，此后的解实际上仍是全局最小值，是正定的。因此，我先前的评论部分不正确。

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— 马丁L