如何在岭回归中找到回归系数？

在岭回归中，要最小化的目标函数为：

$$\text{RSS}+\lambda \sum\beta_j^2.$$

可以使用拉格朗日乘数法对此进行优化吗？还是直接的差异化？

脊问题有两种表达方式。第一个是

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$$

服从

$$\sum_{j} \beta_j^2 \leq s.$$

该公式显示了回归系数的大小约束。注意该约束意味着什么；我们迫使系数位于半径为的原点周围的球中。$\sqrt{s}$

第二种说法正是您的问题

$$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$$

可以看作是拉格朗日乘数公式。请注意，此处是调整参数，并且其较大的值将导致较大的收缩。您可以继续针对区分表达式，并获得知名的ridge估计器$\lambda$$\boldsymbol{\beta}$

$$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$$

这两个公式完全等效，因为和之间存在一一对应的关系。$s$$\lambda$

让我详细说明一下。假设您处于理想的正交情况下，。这是一个高度简化且不现实的情况，但是我们可以更仔细地研究估算器，所以请多多包涵。考虑方程（1）发生了什么。岭估计器减少到$\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

$$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$$

就像在正交情况下，OLS估计量由。现在来看这个组件$\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

$$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$$

请注意，现在所有系数的收缩率都是恒定的。这在一般情况下可能不成立，并且确实可以证明，如果矩阵中存在简并性，收缩率将有很大的不同。$\mathbf{X}^{\prime} \mathbf{X}$

但是，让我们回到约束优化问题上。根据KKT理论，最优性的必要条件是

$$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$$

因此或（在这种情况下，我们说约束是绑定的）。如果则没有惩罚，我们回到常规的OLS情况。假设约束是有约束力的，而我们处于第二种情况。使用（2）中的公式，我们得到＆Sigma; β 2 - [R ，Ĵ - 小号= 0 λ = $\lambda = 0$$\sum \beta_{R,j} ^2 -s = 0$$\lambda = 0$

$$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$$

我们从那里获得

$$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$$

先前声称的一对一关系。我希望在非正交情况下很难确定这一点，但结果不管如何。

再次查看（2），您会发现我们仍然缺少。为了获得最佳值，您可以使用交叉验证或查看山脊迹线。后一种方法涉及在（0,1）中构造一个序列，并查看估计值如何变化。然后，选择使它们稳定的。顺便提一下，此方法在下面的第二篇参考文献中提出，并且是最古老的方法。λ $\lambda$$\lambda$$\lambda$

参考文献

Hoerl，Arthur E.和Robert W. Kennard。“ Ridge回归：对非正交问题的偏倚估计”。Technometrics 12.1（1970）：55-67。

Hoerl，Arthur E.和Robert W. Kennard。“ Ridge回归：在非正交问题上的应用。” Technometrics 12.1（1970）：69-82。

我的《回归建模策略》一书深入探讨了使用有效AIC选择。这来自惩罚的对数似然和有效自由度，后者是惩罚减少方差的函数。有关此的演示在这里。R 软件包找到了，它可以优化有效的AIC，并且还允许使用多个惩罚参数（例如，一个用于线性主效应，一个用于非线性主效应，一个用于线性相互作用效应以及一个用于非线性相互作用效应）。β$\lambda$$\hat{\beta}$rmspentrace$\lambda$

我不是分析性地，而是数字地。我通常这样绘制RMSE与λ：

图1. RMSE和常数λ或alpha。