为什么我得出的封闭套索解决方案不正确？

套索问题具有封闭形式的解决方案：如果具有正交列）。这在以下线程中得到了证明：封闭形式套索解决方案的派生。

β^{lasso} = \underset{β}{argmin} ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - α)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$

X

$X$

但是，我不明白为什么通常没有封闭式解决方案。使用次微分，我得到了以下内容。

（ $X$ 是 $n \times p$ 矩阵）

f (β) = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$

= \sum_{i = 1}^{n} (y_{i} - X_{i} β)^{2} + α \sum_{j = 1}^{p} | β_{j} |

$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$ （

X_{i}

$X_i$ 是

的第i行

X

$X$ ）

= \sum_{i = 1}^{n} y_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} X_{i} β + \sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β + α \sum_{j = 1}^{p} | β_{j} |

$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

\Rightarrow \frac{\partial f}{\partial β_{j}} = - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

= {\begin{cases} - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} + α for β_{j} > 0 \\ - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} - α for β_{j} < 0 \\ [- 2 \sum_{i = 1}^{n} y_{i} X_{i j} - α, - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + α] for β_{j} = 0 \end{cases}

$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$ 使用

\frac{\partial f}{\partial β_{j}} = 0

$\frac{\partial f}{\partial \beta_j} = 0$ 我们得到

β_{j} = {\begin{cases} (2 (\sum_{i = 1}^{n} y_{i} X_{i j}) - α) / 2 \sum_{i = 1}^{n} X_{i j}^{2} & for \sum_{i = 1}^{n} y_{i} X_{i j} > α \\ (2 (\sum_{i = 1}^{n} y_{i} X_{i j}) + α) / 2 \sum_{i = 1}^{n} X_{i j}^{2} & for \sum_{i = 1}^{n} y_{i} X_{i j} < - α \\ 0 & for \sum_{i = 1}^{n} y_{i} X_{i j} \in [- α, α] \end{cases}

$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$

有人看到我做错了吗？

回答：

如果我们以矩阵的形式写问题，我们可以很容易地理解为什么封闭形式的解仅存在于的正交情况下 $X^TX= I$ ：

f (β) = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

= y^{T} y - 2 β^{T} X^{T} y + β^{T} X^{T} X β + α ‖ β ‖_{1}

$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$

\Rightarrow \nabla f (β) = - 2 X^{T} y + 2 X^{T} X β + \nabla (α | β ‖_{1})

$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$ （我在这里一次采取了很多步骤。但是，到现在为止，这完全类似于最小二乘解的推导。因此，您应该能够找到那里缺少的步骤。）

\Rightarrow \frac{\partial f}{\partial β_{j}} = - 2 X_{j}^{T} y + 2 (X^{T} X)_{j} β + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

随着 $\frac{\partial f}{\partial \beta_j} = 0$ 我们得到

2 (X^{T} X)_{j} β = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

\Leftrightarrow 2 (X^{T} X)_{j j} β_{j} = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |) - 2 \sum_{i = 1, i \neq j}^{p} (X^{T} X)_{j i} β_{i}

$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$

现在我们可以看到，针对一个解决方案取决于所有其他因此尚不清楚如何从此处继续。如果是正交的，我们有因此在这种情况下肯定存在封闭形式的解决方案。 $\beta_j$ $\beta_{i\neq j}$ $X$ $2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

感谢GuðmundurEinarsson的回答，我在这里详细阐述。我希望这次是正确的:-)

regression lasso regularization

— 诺伯特
source

欢迎来到CrossValidated，并祝贺您发表了非常好的第一篇文章！

— S. Kolassa-恢复莫妮卡2015年

通常使用最小角度回归完成此操作，您可以在此处找到论文。

抱歉，一开始我会感到困惑，我将对此进行另一尝试。

因此，在扩展函数您将获得 $f(\beta)$

F （ β ） = \sum_{一世 = 1个}^{ñ} ÿ_{一世}^{2} - 2 \sum_{一世 = 1个}^{ñ} ÿ_{一世} X_{一世} β + \sum_{一世 = 1个}^{ñ} β^{Ť} X_{一世}^{Ť} X_{一世} β + α \sum_{Ĵ = 1个}^{p} | β_{Ĵ} |

$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

然后，您针对计算偏导数。我担心的是您对1范数之前的最后一项的偏导数（即二次项）的计算。让我们进一步研究它。我们有： $\beta_j$

X_{一世} β = β^{Ť} X_{一世}^{Ť} = （ β_{1个} X_{一世 1个} + β_{2} X_{一世 2} + \dots + β_{p} X_{一世 p} ）

$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$ 因此，您基本上可以将二次项重写为：现在，我们可以使用链式规则来计算此wrt的导数：

\sum_{一世 = 1个}^{ñ} β^{Ť} X_{一世}^{Ť} X_{一世} β = \sum_{一世 = 1个}^{ñ} （ X_{一世} β ）^{2}

$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$

β_{j}

$\beta_j$

\frac{\partial}{\partial β_{Ĵ}} \sum_{一世 = 1个}^{ñ} （ X_{一世} β ）^{2} = \sum_{一世 = 1个}^{ñ} \frac{\partial}{\partial β_{Ĵ}} （ X_{一世} β ）^{2} = \sum_{一世 = 1个}^{ñ} 2 （ X_{一世} β ） X_{一世 Ĵ}

$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$

因此，现在您的问题不再那么容易简化，因为每个方程式中都存在所有系数。 $\beta$

这不能回答您的问题，为什么Lasso没有封闭形式的解决方案，我可能会在后面补充说明。

— 久尾
source

非常感谢。现在，我实际上可以看到为什么没有封闭式解决方案（请参阅我的编辑）。

— 诺伯特2015年

甜！伟大的工作:)

— Gumeo 2015年