通过“频谱分解”的岭回归使用收缩系数的证明

我已经了解了岭回归如何将系数在几何上缩小为零。此外，我知道如何在特殊的“正交案例”中证明这一点，但是我对通过“频谱分解”在一般案例中的工作方式感到困惑。

— 耶扎
source

您已经说过感到困惑，但是您的问题是什么？

— ub

这个问题似乎是在要求人们证明，岭回归使用频谱分解将系数估计值缩小到零。频谱分解可以理解为奇异值分解（SVD）的简单结果。因此，本文以SVD开头。它用简单的术语对其进行解释，然后在重要的应用程序中对其进行说明。然后提供所要求的（代数）演示。（当然，代数与几何演示相同；只是用另一种语言表达）。

这个答案的原始来源可以在我的回归课程笔记中找到。此版本纠正了一些小错误。

什么是SVD

任何矩阵，用，可以写成，其中 $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

$U$ 是矩阵。 $n\times p$
- 的列的长度为。 $U$ $1$
- 的列相互正交。 $U$
- 他们被称为主成分的。 $X$
$V$ 是一个矩阵。 $p \times p$
- 的列的长度为。 $V$ $1$
- 的列相互正交。 $V$
- 这使得一个旋转的。 $V$ $\mathbb{R}^p$
$D$ 是对角矩阵。 $p \times p$
- 对角元素不是负数。这些都是奇异值的。 $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- 如果我们愿意，我们可以按从大到小的顺序排列它们。

准则（1）和（2）断言和都是正交矩阵。它们可以根据条件进行巧妙地总结 $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

结果（代表旋转），。这将在下面的Ridge回归推导中使用。 $V$ $VV^\prime = 1_p$

它为我们做什么

它可以简化公式。 这在代数和概念上都有效。这里有些例子。

正规方程

考虑回归，其中，照常，是独立的，并且根据具有零期望和有限方差的定律均匀分布。通过正则方程的最小二乘解为应用SVD并简化由此产生的代数混乱（这很容易）提供了很好的见解： $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

此与之间的唯一区别是，使用了元素的倒数！换句话说，“等式”通过“反转”来解决：该伪反转取消了旋转和（仅通过转置）并取消了乘法（用表示）。在每个主要方向上。 $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

为了将来参考，请注意“旋转”估计是“旋转”响应线性组合。系数是的（正）对角元素的倒数，等于。 $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

系数估计的协方差

回想一下，估计的协方差是使用SVD，它变为换句话说，协方差的作用类似于正交变量的协方差，每个正交变量的方差为，并已在旋转。

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$

R^{k}

$\mathbb{R}^k$

帽子矩阵

帽子矩阵是通过前面的结果，我们可以将其重写为简单！

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

本征分析（光谱分解）

由于和立即

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

和的特征值是奇异值的平方。 $X^\prime X$ $XX^\prime$
的列是的特征向量。 $V$ $X^\prime X$
的列是一些特征向量。（存在其他特征向量，但对应于零特征值。） $U$ $X X^\prime$

SVD可以诊断和解决共线性问题。

近似回归器

当您将最小的奇异值替换为零时，只需稍微更改乘积。但是现在，零消除了的相应列，从而有效地减少了变量的数量。 假设那些消除的列与几乎没有关联，则可以有效地用作变量归约技术。 $UDV^\prime$ $U$ $y$

岭回归

让的列以及本身标准化。（这意味着我们不再需要的常量列。）对于，岭估计为 $X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

此之间的区别是被替换。 $\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ 实际上，这会将原始数乘以分数。因为（当）分母明显大于分子，因此参数估计“缩小为零”。 $D^2/(D^2+\lambda)$ $\lambda \gt 0$

必须从前面提到的某种微妙的意义上理解这个结果：旋转后的估计值仍然是向量线性组合，但是每个系数（过去是已乘以的因子。这样，旋转系数必须缩小，但是当足够小时，某些本身实际上可能会增大大小。 $V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

为了避免分散注意力，在此讨论中排除了多个零奇异值之一的情况。在这种情况下，如果我们通常将“设为零， $d_{ii}^{-1}$ 那么一切仍然有效。这是使用广义逆来求解正态方程时发生的情况。

— ub
source

@Glen_b很好：我需要明确说明我正在考虑的比例！我会解决的。

— ub

（1）等式断言，的每一列与其自身的点积为，因此每个长度（根据定义）为。（2）源自观察到是旋转矩阵，因为这暗示也是旋转矩阵。因此，。插入会得到。

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

— ub

@Vimal谢谢您的好建议。我现在在“正态方程”部分中进行了介绍，其中介绍了回归模型。

— ub

当是对称的时，根据定义，左，右两侧立即比较显示了一个实对称矩阵的对角化是SVD的一种特殊情况，并且还表明，在对称矩阵，的SVD。如果是非简并的，实际上就是这种情况，但是要证明它不是完全基本的，因此我不再赘述。

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

— whuber

@ wh，哦，是这样吗？在拟合值我们将使用系数估计值，只要将它们缩小到零，拟合值就会发生相同的变化。

\hat{y}

$\hat{y}$

— jeza