在套索中给出0分量的最小

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

我们知道，对于，套索估计。（例如，请参阅Lasso和Ridge调整参数范围。）用另一种表示法表示。请注意，我们可以通过以下显示套索求解路径的图像直观地看到这一点： $\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ $\hat\beta^\lambda = 0$ $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$

请注意，在图的最右侧，所有系数均为零。这发生在上述 $\lambda_\mathrm{max}$ 点。

从该图中，我们也注意到在远处左侧，所有的系数是非零：什么是价值在其中的任何组件最初为零？也就是说，作为和的函数，等于多少？我对封闭式解决方案感兴趣。特别是，我对算法解决方案不感兴趣，例如，暗示LARS可以通过计算找到结。 $\lambda$ $\hat\beta^\lambda$

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

尽管有我的兴趣，但是可能无法以封闭形式使用，因为否则，套索计算包可能会在交叉验证期间确定调整参数深度时利用它。有鉴于此，我对理论上可以证明的关于任何内容都感兴趣，并且（仍然）对封闭形式特别感兴趣。 $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— 用户名
source

在glmnet论文中对此

— Matthew Drury

@MatthewDrury感谢您的分享！但是，本文似乎没有分享您似乎建议他们这样做的内容。特别是，通知我的

是他们

。

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— user795305

您确定我们需要[tuning-parameter]标签吗？

— 变形虫说莫妮卡（Reonica Monica）

没错，套索解决方案的封闭形式通常不存在（请参阅stats.stackexchange.com/questions/174003/…）。但是，lars至少会告诉您发生了什么情况以及在什么确切条件下/何时可以添加/删除变量。我认为类似的东西是您可以获得的最好的东西。

— chRrr

@chRrr我不知道这是完全公平地说：我们知道，

的

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

。也就是说，在解决方案为0的极端情况下，我们具有封闭形式。我想问在套索估计为密集（即无零）的极端情况下，类似情况是否成立。事实上，我还没有兴趣的确切条目

---他们只是无论是零。

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— user795305

问题中描述的套索估计是以下优化问题的拉格朗日乘数等效项：

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

这种优化具有找到多维球体和多面体（由X的向量所跨）的接触点的几何表示。该多表位的表面代表 $g(\beta)$ 。球体半径的平方代表函数 $f(\beta)$ 并且在表面接触时最小化。

下图提供了图形说明。图像使用以下简单问题，这些问题的向量为3（为简单起见，以便能够绘制图形）：

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$ 和我们最小化

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$ 与约束

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

图片显示：

红色表面描述了约束，X跨越了一个多面体。
绿色表面表示最小化的表面，即球体。
蓝线显示套索路径，即我们更改 $t$ 或 $\lambda$ 发现的解。
绿色矢量示出了OLS溶液（其被选择作为或。 $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
三个黑矢量 $x_1 = (0.8,0.6,0)$ ， $x_2 = (0,0.6,0.8)$ 和 $x_3 = (0.6,0.64,-0.48)$ 。

我们显示三个图像：

在第一个图像中，只有多面体的一个点接触球体。该图像很好地说明了套索解决方案不只是OLS解决方案的倍数的原因。OLS解决方案的方向使总和更强 $\vert \beta \vert_1$ 。在这种情况下，只有一个单一的 $\beta_i$ 是非零的。
在第二张图像中，多义峰的脊部接触到球体（在更高维度上，我们获得了更高维度的类似物）。 在这种情况下多个 $\beta_i$ 是非零。
在第三个图像中，多面体的一个小平面正在接触球体。在这种情况下，所有的 $\beta_i$ 是非零。

由于它们具有简单的几何表示，因此可以容易地计算出我们具有第一和第三种情况的 $t$ 或 $\lambda$ 的范围。

案例1：只有一个单一的 $\beta_i$ 非零

非零 $\beta_i$ 是一个给其相关联的向量 $x_i$ 具有与协方差的绝对值最高 $\hat{y}$ 这是其中parrallelotope最接近于OLS溶液的点）。我们可以计算拉格朗日乘数 $\lambda_{max}$ 下面，我们有至少一个非零 $\beta$ 通过取导数 $\pm\beta_i$ （取决于我们是否增加的符号 $\beta_i$ 在负方向或正方向）：

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

这导致

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

等于 $\vert \vert X^Ty \vert \vert_\infty$ 注释中提到了。

在这里我们应该注意到，这仅适用于多面体的尖端接触球体的特殊情况（因此，虽然一般化很简单，但这不是一般性的解决方案）。

案例3：所有的 $\beta_i$ 是非零。

在这种情况下，多面体的一个小面正在接触球体。然后套索路径的变化方向垂直于特定小平面的表面。

多面体具有许多方面，具有 $x_i$ 正负贡献。在最后的套索步骤中，当套索解决方案接近ols解决方案时，则 $x_i$ 的贡献必须由OLS解决方案的符号来定义。可以通过采用 $\vert \vert \beta(r) \vert \vert_1$ 的梯度来定义构面的法线。，在点 $r$ 处beta的和的值是：

ñ = - \nabla_{[R} （ | | β （ [R ） | |_{1个} ） = - \nabla_{[R} （ 标志 （ \hat{β} ） \cdot （ X^{Ť} X ）^{- 1个} X^{Ť} [R ） = - 标志 （ \hat{β} ） \cdot （ X^{Ť} X ）^{- 1个} X^{Ť}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

而该方向的beta的等效变化为：

{\vec{β}}_{升 一种 s Ť} = （ X^{Ť} X ）^{- 1个} X ñ = - （ X^{Ť} X ）^{- 1个} X^{Ť} [标志 （ \hat{β} ） \cdot （ X^{Ť} X ）^{- 1个} X^{Ť}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

which after some algebraic tricks with shifting the transposes ( $A^TB^T = [BA]^T$ ) and distribution of brackets becomes

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

we normalize this direction:

{\vec{β}}_{l a s t, n o r m a l i z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s i g n (\hat{β})}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

To find the $\lambda_{min}$ below which all coefficients are non-zero. We only have to calculate back from the OLS solution back to the point where one of the coefficients is zero,

d = m i n (\frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}}) with the condition that \frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

，此时我们评估导数（与之前计算时一样） $\lambda_{max}$ ）。我们将其用于二次函数 $q'(x) = 2 q(1) x$ ：

λ_{米 一世 ñ} = \frac{d}{ñ} | | X {\vec{β}}_{升 一种 s Ť ， ñ Ø [R 米 一种 升 一世 ž Ë d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

图片

多角形的一个点接触球体，一个 $\beta_i$ 不为零：

一个多面体的脊（或在多个维度上不同）正在接触球体，许多 $\beta_i$ 不为零：

多面体的一个面正接触球体，所有 $\beta_i$ 不为零：

代码示例：

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

注意：最后三行是最重要的

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

由StackExchangeStrike撰写

— 天性
source

感谢您加入编辑！到目前为止，我的阅读只是停留在“案例1”小节的后面。的结果

λ_{max}

$\lambda_\max$ 派生那里是错误的，因为它不包含绝对值或最大值。我们进一步知道存在一个错误，因为在推导中存在一个符号错误，一个错误地假定可微性的地方，一个“任意选择”。

i

$i$ 区分和评估错误的导数。坦率地说，没有一个“

=

$=$ ”有效的标志。

— user795305 '17

我已经用加减号纠正了。Beta的变化可以是正的或负的。关于最大和“任意选择” ... “相关的向量 $x_i$ 与的协方差最高 $\hat{y}$ ”

— Sextus Empiricus

感谢更新！但是，仍然存在问题。例如，

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$ 评估不正确。

— user795305

如果

β = 0

$\beta=0$ 然后

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= \frac{\partial | | ÿ - X β | |_{2}}{\partial β_{一世}} 2 | | ÿ - X β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= \frac{\partial | | ÿ - s X_{一世} | |_{2}}{\partial s} 2 | | ÿ - X β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= 2 C Ø [R （ X_{一世} ， ÿ ） | | X_{一世} | |_{2} | | ÿ | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= 2 X_{一世} \cdot ÿ

$= 2 x_i \cdot y$ 该相关性进入方程式是因为，如果s = 0，则仅改变

s x_{i}

$s x_i$ 切线

y

$y$ 正在改变向量的长度

y - s x_{i}

$y - s x_i$

— Sextus Empiricus

啊，好的，所以您的论点有限制！（您同时使用

β = 0

$\beta = 0$ 并且系数不为零。）此外，

λ_{max}

$\lambda_\max$ 这是一种误导，因为符号可能会因绝对值的差异而改变。

— user795305 '17

在套索中给出0分量的最小

案例1：只有一个单一的βiβi\beta_i非零

案例3：所有的βiβi\beta_i是非零。

图片

代码示例：

案例1：只有一个单一的 $\beta_i$ 非零

案例3：所有的 $\beta_i$ 是非零。