岭回归与PCA回归之间的关系

我记得在网络上的某个地方阅读过岭回归（具有正则化）和PCA回归之间的联系：在使用带超参数正则回归时，如果，则回归等同于删除特征值最小的PC变量。 $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

为什么会这样呢？
这与优化过程有关吗？天真的，我希望它等同于OLS。
有人为此提供参考吗？

— 何塞·G
source

您能否更清楚地说明语句中PCA和回归如何关联？回归将因变量与自变量区分开来，而在PCA中则没有发生这种情况。那么，您将PCA应用于哪些变量？它不能仅仅是自变量，因为这与回归无关。但是，如果将其应用于所有变量，则特征向量是所有变量的线性组合。因为它涉及因变量，所以从数据集中删除任何此类组件可能意味着什么？

— ub

联系（据我所知）是，如果您使用非常小的正则化代价，则L2正则化回归将删除特征值最小的变量。因此，在设计矩阵上执行SVD并删除特征值最小的变量等效于使用“软”正则化惩罚的回归……这是我发现的最接近的解释：sites.stat.psu。 edu /〜jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

您的参考文献似乎证明了您在评论中所说的相反：对于小，结果几乎没有变化。什么都不会删除。实际上，似乎有几张幻灯片旨在指出惩罚回归（将估计缩小到）和“ PCA回归”（其中最小的组成部分被完全删除）之间的区别，这可能是一件很糟糕的事情在某些情况下）。

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

Mmm ..找到了另一个参考：statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf 在幻灯片中，“和主要成分”表示，岭回归将y投射到这些成分上且具有较大的dj *叹气*

y^{r i d g e}

$y^{ridge}$

— Jose G

你注意到了吗？最新参考资料中的14条明确回答了您的问题？

— ub

Answers:

令为中心预测变量矩阵，并考虑其奇异值分解其中为对角矩阵的对角矩阵。 $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

普通最小二乘（OLS）回归的拟合值由岭回归的拟合值由具有成分的PCA回归（PCR）的拟合值由下式给出

{\hat{ÿ}}_{Ø 大号 小号} = X β_{Ø 大号 小号} = X （ X^{⊤} X ）^{- 1个} X^{⊤} ÿ = ü ü^{⊤} ÿ 。

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

{\hat{ÿ}}_{[R 一世 d G Ë} = X β_{[R 一世 d G Ë} = X （ X^{⊤} X + λ 一世 ）^{- 1个} X^{⊤} ÿ = ü d 一世 一种 G {\frac{s_{一世}^{2}}{s_{一世}^{2} + λ}} ü^{⊤} ÿ 。

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

{\hat{ÿ}}_{P C [R} = X_{P C 一种} β_{P C [R} = ü d 一世 一种 G {1个 ， \dots ， 1个 ， 0 ， \dots 0} ü^{⊤} ÿ ，

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$ 其中有个后跟零。

k

$k$

从这里我们可以看到：

如果则。 $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
如果则奇异值越大，则在岭回归中将受到的惩罚越少。小奇异值（或更小）受的惩罚最大。 $\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
相反，在PCA回归中，较大的奇异值保持完整，而较小的奇异值（在确定的）被完全删除。前个对应于，其余对应于。 $k$ $\lambda=0$ $k$ $\lambda=\infty$
这意味着可以将岭回归视为PCR的“平滑版本”。

（这种直觉是有用的，但并不总是成立；例如，如果所有近似相等，则岭回归将仅能近似相等地惩罚所有主要成分，并且可能与PCR有很大不同）。 $s_i$ $\mathbf X$
Ridge回归在实践中往往表现更好（例如，具有更高的交叉验证性能）。
现在具体回答您的问题：如果，则。我看不出它如何对应于删除最小的。我认为这是错误的。 $\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

一个很好的参考是《统计学习的要素》，第3.4.1节“ Ridge回归”。

另请参见以下主题：回归中的岭正则化解释，尤其是@BrianBorchers的答案。

— 变形虫说恢复莫妮卡
source

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

ü 诊断 （ {1个}_{1个} ， {1个}_{2} ， 。 。 。 ， {1个}_{ķ} ， 0 ， 。 。 。 ， 0 ） ü^{Ť} ÿ

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

这很漂亮。

— xxx222 '17

统计学习的元素对此进行了大量讨论。

我解释这种联系和逻辑的方式如下：

PCA是特征变量的线性组合，试图最大程度地利用新空间解释数据的方差。
遭受多重共线性（或预测变量多于数据行）的数据会导致不具有完整秩的协方差矩阵。
使用此协方差矩阵，我们无法求逆来确定最小二乘解。这导致最小二乘系数的数值逼近达到无穷大。
Ridge回归在协方差矩阵上引入了惩罚Lambda，以允许矩阵求逆和LS系数的收敛。

PCA的连接是Ridge回归正在计算要素的线性组合，以确定发生多重共线性的位置。具有最小方差（因此PCA中较小的奇异值和较小的特征值）的特征的线性组合（原理成分分析）受到的处罚最为困难。

这样想吧；对于具有最小方差的特征的线性组合，我们发现了最相似的特征，因此导致了多重共线性。由于Ridge不会缩减特征集，无论该线性组合描述的是哪个方向，与该方向相对应的原始特征受到的惩罚最大。

— MDornbos
source

X β = ÿ ，

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = ü 小号 V^{Ť} ，

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{Ø 大号 小号} = V {小号}^{- 1个} ü^{Ť}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} {小号}_{岭}^{- 1个} & = 诊断 （ \frac{s_{一世}}{s_{一世}^{2} + α} ） ， \\ β_{岭} & = V {小号}_{岭}^{- 1个} ü^{Ť} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

$\mathbf S^{-1}$

\begin{aligned} {小号}_{PCA}^{- 1个} & = 诊断 （ \frac{1个}{s_{一世}} θ （ s_{一世} - γ ） ） ， \\ β_{PCA} & = V {小号}_{PCA}^{- 1个} ü^{Ť} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$

θ

$\theta$

γ

$\gamma$

因此，这两种方法都会削弱与小值相对应的子空间的影响。PCA很难做到这一点，而脊线则更平滑。

{小号}_{myReg}^{- 1个} = 诊断 （ [R （ s_{一世} ） ） ，

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$

R (x)

$R(x)$

x \to 0

$x\rightarrow 0$

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$

x

$x$

— 大卫高
source