二次编程和套索

我正在尝试执行套索回归，其格式如下：

在最小化 $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

给定，建议我借助二次编程来找到最佳，二次编程采用以下形式： $\lambda$ $w$

最小化在，受 $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

现在，我意识到应该将项转换为约束项，这非常简单。但是，我以某种方式看不到如何将第一个方程式的第一项转换为第二个方程式的第一项。我在网上找不到很多，所以决定在这里问。 $\lambda$ $Ax \le b$

regression lasso quadratic-form

— 斯普拉
source

Answers:

请记住，我们正在将作为标准形式的' '变量，展开并收集以及和以及常数。 $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

解释为什么您可以忽略常量。

说明为什么可以组合和项。 $w'$ $w$

正如BananaCode现在已经弄清楚了这条道路上的一些领先者一样，您可以写和或更简单，您可以写和（因为和对于任何都具有相同的argmin ）。 $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— Glen_b-恢复莫妮卡
source

常数可以忽略，因为如果x_是f（x）的最小值，则x_ + c是f（x）+ c的最小值，因此我们可以忽略常数c。我将编辑问题以显示卡住的地方。

— spurra

BananaCode您的解释有几个缺陷。如果“是最小的，以 ”你的意思是“在它的参数最小化”，你说，像“是的 ”。但是你的结论是错误的。如果将添加到，则不要将添加到argmin。

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— Glen_b-恢复莫妮卡2014年

看到答案中我在哪里写了吗？有什么东西，你现在有间和你的问题的底部？

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— Glen_b-恢复莫妮卡2014年

是的，我的意思是是的。您能举一个我的结论错误的例子吗？在是矩阵我试图形成。如果我扩展我得到。第一部分代表矩阵的形式，但是我不能摆脱第二项。

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— spurra

@ AD.Net约束大部分包含在其他答案中。

— Glen_b-恢复莫妮卡

我想添加如何解决转换约束成为二次编程的可用形式，因为它不像我想的那么简单。不可能找到一个真实的矩阵使得。 $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

我使用的方法是将向量的元素分为和，这样。如果，则您有和，否则您有并且。或更用数学术语来说，和无论和为非负数。分解数字的想法是，您现在有了 $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ ，有效地摆脱了绝对值。

优化函数变为：，主题到 $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

当和被定为由Glen_b上述 $Q$ $c$

这需要转换为可用形式，即我们需要一个向量。这是通过以下方式完成的：

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

服从

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

其中是维单位矩阵，是仅由值组成的维向量，是维零向量。前半部分确保，第二个现在，以二次编程的形式使用二次编程来搜索和是给定的一种可用形式。完成后，关于最佳参数是。 $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

资料来源和进一步阅读：用线性约束包含绝对值来解决二次编程问题

— 斯普拉
source

假设我们找到了最佳的向量。是什么确保和实际上是某个向量的正部分和负部分，即它们的入口位置匹配？

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— Myath

最终表达式中的矩阵和向量可以更简单，并且实际上更正确。代替[Id Id] [w + w-]'≤Sd，您可以简单地输入[1 1 .... 1] [w + w-]'≤s。这从字面上等效于∑ | wi |。= ∑（wi + + wi−）≤s。

— Marko