封闭形式套索解的推导

$\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— 加里
source

这似乎有些困惑。首先，假设约束为

t

$t$ 然后在解决方案中引入参数

γ

$\gamma$ 。我猜您打算通过双重问题将这两者联系起来，但是也许您可以弄清楚自己在寻找什么。

— 主教

部分地响应于@cardinal，找到

β

$\beta$ 最小化

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ 受

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ 相当于找到

β

$\beta$ 最小化

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ 。

t

$t$ 和

之间存在1-1关系

γ

$\gamma$ 。为了“轻松地”了解软阈值结果为何如此，我建议解决第二个表达式（在我的评论中）。

另注，找到时

β

$\beta$ 最小化

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ ，将问题分解为

β_{j} > 0

$\beta_j >0$ ，

β_{j} < 0

$\beta_j<0$ 和

β = 0

$\beta=0$ 。

@cardinal嗯，是1-1不正确。校正：对于每个

t \geq 0

$t\geq0$ ，您都可以找到

γ \geq 0

$\gamma\geq 0$ 。

感谢您的精彩讨论！我在Coursera上观看了此视频- 导出套索坐标下降更新，这与该讨论非常相关，并且非常优雅地介绍了该解决方案。可能会对未来的访问者有所帮助：-)

— zorbar '16

Answers:

这可以通过多种方式进行攻击，包括通过Karush–Kuhn–Tucker条件的相当经济的方法。

下面是一个非常基本的替代参数。

正交设计的最小二乘解

假设由正交列组成。然后，最小二乘解是 $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

一些等效的问题

通过拉格朗日形式，可以直接看出问题中考虑的等效问题是

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

扩展第一项，我们得到，由于不包含任何对于感兴趣的变量，我们可以将其丢弃，然后考虑另一个等效问题， $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

注意，先前的问题可以重写为 $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

现在，我们的目标函数是目标的总和，每个目标对应一个单独的变量，因此可以分别求解它们。 $\beta_i$

整体等于部分之和

确定一个。然后，我们要最小化 $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

如果，那么我们必须具有因为否则我们可以翻转其符号并为目标函数获得一个较低的值。同样，如果，那么我们必须选择。 $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

情况1：。由于，并针对并将其设置为零，我们得到，这仅在右侧为非负值时才可行，因此在这种情况下，实际的解决方案是 $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

情况2：。这意味着我们必须具有，因此关于并将其设置为零，我们得到。但是，再次，为了确保这是可行的，我们需要，这可以通过使 $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

在这两种情况下，我们都获得了所需的形式，因此就完成了。

结束语

— 红衣主教
source

大写@cardinal！

— 加里（Gary

1整个第二半可以通过简单的观察目标函数被替换是在处具有顶点的两个凸抛物线的部分的并集，其中取负号，否则取正号。公式只是选择较低顶点的一种好方法。

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— Whuber

如果可能的话，我想看看使用KKT优化条件的推导。还有什么其他方法可以得出此结果？

— user1137731

@Cardinal：感谢您的推论。一种观察。如果我还记得，具有正交列的矩阵与正交（aka正交）矩阵不同。那么对于一些对角矩阵（不一定是单位矩阵），有了正交矩阵假设（就像原始问题一样），我们确实有而且看起来都很不错：）

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— Oleg Melnikov

@cardinal我不明白为什么你说“因为否则我们可以翻转其符号并为目标函数获得一个较低的值”。我们正在采用目标函数的导数。那么，如果目标函数更高或更低，谁在乎呢？我们只关心导数设置为零，我们关心极值。无论是高一个常数还是一个常数都不影响argmin。

— user13985

假定协变量，的列，也是标准化的，使得。这只是为了以后的方便：没有它，由于仅是对角线，因此表示法变得更重。进一步假设。这是保持结果的必要假设。定义最小二乘估计器。然后，套索估计的（拉格朗日形式） $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ {端对齐*} 其中是一个函数的近端操作者和通过量软阈值

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ 。

此推导跳过了Cardinal制定的近端操作员的详细推导，但是，我希望阐明使闭合表格成为可能的主要步骤。

— 用户名
source