为什么“宽松套索”与标准套索不同?


16

如果我们开始与一组数据的,应用套索给它,将获得的溶液β 大号,我们可以再次应用套索到数据集X 小号ÿ ,其中小号是一组非零的指标β 大号,以得到溶液,β - [R 大号,被称为“放松套索”的解决方案(如果我错了指正!)。将溶液β 大号必须满足Karush-库恩-塔克(KKT)条件下X ÿ (X,Y)βL(XS,Y)SβLβRLβL(X,Y),但考虑的KKT条件的形式它是否也满足这些条件?如果是这样,第二次做LASSO有什么意义?(XS,Y)

该问题是针对以下问题的后续措施: 做“双套索”或两次执行套索的优势?

Answers:


10

根据Meinshausen(2007)的定义1 ,有两个参数控制松弛套索的解。

第一个,,控制变量选择,而第二,φ,控制收缩水平。当ϕ = 1时,套索和松弛套索都是相同的(正如您所说!),但是对于ϕ < 1,您将获得一个系数接近于对所选变量给出正交投影的系数的解决方案(类型为软去偏)。λϕϕ=1ϕ<1

此公式实际上对应于解决两个问题:

  1. 首先是带有罚分参数λ的完整套索λ
  2. 第二套索上,这是X减少到1所选的变量,具有惩罚参数λ φXSXλϕ
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.