将岭回归应用于欠定方程组？

当，对值施加球形限制最小二乘问题可以写成对于超定系统，。是向量的欧几里得范数。 $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

的对应解 $\beta$ 由

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ 可以从拉格朗日乘数的方法得出（

λ

$\lambda$ 是乘数）：

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

我知道有一个属性，在不确定情况下（带有添加的正则化参数），

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ 右手边类似于回归矩阵

的伪逆。这是否意味着对于不确定情况，可以使用相同的表达式近似

？在不确定的情况下，是否存在针对相应表达式的单独推导，因为球面约束对于目标函数（

最小范数）是多余的：

X

$X$

λ

$\lambda$

β

$\beta$

β

$\beta$

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— Hatmatrix
source

首先将岭回归问题表述为

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

您可以将问题写为

$\min \| A\beta - b \|_{2}^{2}$

哪里

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

和

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

由于部分，矩阵具有完整的列等级。因此，最小二乘问题是唯一的解决方案 $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

用和，并简化很多0，我们得到 $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

此推导中的任何内容都不取决于是否具有更多的行或列，甚至取决于是否具有完整的排名。因此，该公式适用于不确定情况。 $X$ $X$

一个代数事实是，对于， $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

因此，我们也可以选择使用

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ 。

要回答您的特定问题：

是的，这两个公式都适用于不确定情况以及超定情况。他们还工作，如果小于最小的行数和列数的。对于未确定的问题，第二种版本可能更有效，因为在这种情况下比小。 $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
我不知道从其他阻尼最小二乘问题开始并使用法线方程的公式的替代版本的任何派生。无论如何，您都可以使用一些代数以直接的方式导出它。

您可能正在考虑以下形式的岭回归问题

$\min \| \beta \|_{2}^{2}$

服从

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

但是，此版本的岭回归问题仅导致相同的阻尼最小二乘问题。 $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— 布莱恩·波彻斯
source

值得注意的是，如果具有完整的行级或完整的列级，则变为0 时，限制发生了什么。如果具有完整的列秩，则在限制中，您得到伪逆。类似地，如果具有完整的行级，则在限制中，您会得到伪逆。因此，这符合我们的预期。

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— Brian Borchers 2014年

这是一个非常全面的答案，从扩展数组（加上我错过的代数）的推导非常令人满意。我并不是以您最后提出的形式来考虑岭回归问题，但有趣的是，它导致了相同的目标函数。非常感谢！

— hatmatrix 2014年

谢谢。我将在此处插入一个无耻的插件-您可以在我与Rick Aster和Cliff Thurber共同撰写的有关参数估计和反问题的教科书中找到该插件（以及许多相关材料）。

— Brian Borchers 2014年

我还要补充一点，实际上计算该矩阵逆通常不是使用此公式的最佳方法。根据的大小和可能的稀疏性，使用迭代方案或仅使用矩阵的Cholesky分解可能会更好。

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— Brian Borchers 2014年

感谢您的建议！感谢您对本书的参考，因为我在此材料上找不到texbook。我们的数据大小实际上不是很大（只是我们可能不得不多次将其应用于单独的数据集），因此可能适合直接逆运算，但要感谢其他指针！

— hatmatrix