KKT与套索回归的无约束公式

L1惩罚回归（又名套索）以两种形式表示。设两个目标函数为

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$ 然后将两种不同的制剂是

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$ 受

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$ 和等同

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$ 使用Karush-Kuhn-Tucker（KKT）条件，很容易看出第一种配方的平稳性条件等同于采用第二种配方的梯度并将其设置为0。我找不到，也找不到，是第一种配方的补充松弛条件

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ 如何通过第二种配方的溶液保证得到满足。

regression lasso penalized

— 美好的
source

Answers:

就第一配方中的每个 $t$ 值而言，第二配方中存在一个值 $\lambda$ ，使得两个配方具有相同的最小化值这两个配方是等效的 $\beta$ 。

理由如下：

考虑套索公式：设最小化子为，设。我的主张是，如果在第一个公式中设置，那么第一个公式的解也将为。这是证明：

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

由于，因此在解点处满足互补松弛条件。 $t=b$ $\beta^*$

因此，给定带有的套索公式，您可以使用等于套索解决方案的范数的构造约束公式。相反，给定带的约束公式，您会找到一个，从而套索的解等于约束公式的解。 $\lambda$ $t$ $l_1$ $t$ $\lambda$

（如果您了解次梯度，则可以通过求解方程来找到，其中中的 $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— 爱好
source

优秀。一旦您看到了解决方案，您总是会因为没有自己到达那里而感到愚蠢。我假设你的意思是，在发现矛盾，假设我们找到一个

使得

？

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic'4

认为弗拉金答案是正确的

— bdeonovic 2014年

你能否解释为什么

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

这证明了第一个公式的解也必须具有b的l1-范数。如何证明这两个解决方案确实相同？

— broncoAbierto

此外，套索并不总是有一个独特的解决方案，所以我们不能引用的最小化。arxiv.org/pdf/1206.0313.pdf。我们可以，但是，请参阅一套极小的，并表明一些

必须属于这个组。

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

我认为elexhobby提出这一证明的想法是一个好主意，但我认为这不是完全正确的。

在示出了用于第一制剂溶液的存在，使得通向矛盾，我们只能假设的必要性，不即。 $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

我建议改为进行如下操作：

为了方便起见，让我们分别用和表示第一和第二个公式。让我们假设有一个独特的解决方案，，与。让有一个解决方案。然后，我们有（不能因为约束更大），因此 $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ 。如果然后不是解决，这与我们的假设。如果则，因为我们认为该解决方案是唯一的。 $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ $\hat{\beta} = \beta^*$

但是，套索可能有多种解决方案。由引理1 arxiv.org/pdf/1206.0313.pdf我们知道，所有这些解决方案都具有相同的范数（和相同的最小值，当然）。我们将该范数设置为的约束，然后继续。 $\ell 1$ $P_1$

让我们表示由该组解决方案，以，与。设有一个解决方案。然后，我们有，因此。如果 $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ 为一些（并且因此对于所有的）然后，这与我们的假设。如果为一些然后不在设定解决方案，以。因此，对每个解都在，即对任何解 $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ $P_1$ $S$ $P_1$ is also a solution to $P_2$ . It would remain to prove that the complementary holds too.

— broncoAbierto
source