套索，山脊或弹性净解路径是单调的条件是否明确？

18

从该套索图（glmnet）得出的结论问题说明了套索估计量的解决路径不是单调的。也就是说，一些系数在缩小之前就已经增长了绝对值。

我已将这些模型应用于几种不同类型的数据集，但从未见过这种“狂野”的行为，直到今天，他们一直认为它们总是单调的。

是否有一组明确的条件可确保求解路径是单调的？如果路径改变方向，是否会影响结果的解释？

lasso ridge-regression elastic-net

— 暗语者
source

单调在什么意义上？如果您想将其视为某些函数的图形，对我来说似乎意义不大。

— Henry.L

4

@ Henry.L问题可以被改述为：当是以下情况：对于

，我们有

所有

，其中

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

。就是说，套索均匀地沿部件收缩。您能澄清一下您怀疑什么有意义吗？

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

— user795305

2

注意：了解套索收缩系数的方式是此问题和stats.stackexchange.com/questions/145299/…

— user795305 2015年

1

我不知道我以前是怎么错过这个问题的，索斯回答了OP在上述问题中对他自己的问题的回答。

— user795305

Answers:

2

我可以给您充分的条件使路径单调：的正交设计。 $X$

假设一个正交设计矩阵，即用变量，我们有 $p$ $X$ 。用一个正交设计OLS回归系数仅仅是 $\frac{X'X}{n} = I_p$ 。 $\hat{\beta}^{ols} = \frac{X'y}{n}$

LASSO的Karush-Khun-Tucker条件因此简化为：

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

其中是子梯度。因此，对于每，我们有，我们有一个封闭的形式解决了套索估算值： $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

$\lambda$ $X$

— 卡洛斯·辛内利
source

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.