套索修改为LARS


12

我试图了解如何修改Lars算法以生成套索。虽然我确实了解LARS,但无法从Tibshirani等人的论文中看到套索的修改。特别是我不明白为什么非零坐标的符号必须与当前相关的符号一致的符号条件。有人可以帮我吗 我想我正在寻找对原始L-1规范问题(即套索)使用KKT条件的数学证明。非常感谢!


您是指Efron等人的stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf吗?在第5节的引理8中证明了这一点。还是我误解了您的问题?
彼得·埃利斯

1
我也不确定这个问题,但是实际上,套索是拉尔斯的简化:对于套索,您只在寻找当前残差和剩余基函数之间的正相关,因为只有正相关会导致正(〜非负)系数。
怀特先生

Answers:


2

(大小n × p)表示一组标准化输入,以y(大小n × 1)为中心的响应,β(大小p × 1)回归权重和λ > 0 a l 1-范数惩罚系数。Xn×pyn×1βp×1λ>0l1

LASSO问题然后写成

β=argminβ L(β,λ)L(β,λ)=yXβ22+λβ1

λ>0β(λ)

λβ

λ=2 sign(βa)XaT(yXβ),   aA

A

λβaXaT(yXβ)=XaTr


1

X×X

X×Xζζmin<ζcurrentAx1x2x2x3 但不能与其他人等),选择顺序可能会有很大偏差。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.