岭回归背景下的拉格朗日松弛


15

在“统计学习的要素”(第二版),p63中,作者给出了岭回归问题的以下两种表述:

β^[R一世dGË=精氨酸β{∑一世=1个ñ(ÿ一世-β0-∑Ĵ=1个pX一世ĴβĴ)2+λ∑Ĵ=1个pβĴ2}

和

β^[R一世dGË=精氨酸β∑一世=1个ñ(ÿ一世-β0-∑Ĵ=1个pX一世ĴβĴ)2,受 ∑Ĵ=1个pβĴ2≤Ť。

据称这两者是等效的,并且参数和之间存在一一对应的关系。λŤ

似乎第一个公式是第二个的拉格朗日松弛。但是,我从未对拉格朗日松弛如何或为何起作用有直观的了解。

有没有简单的方法可以证明这两种说法确实等效?如果必须选择,我宁愿直觉胜于严谨。

谢谢。


如果只需要直观的解释,请转到此视频的 1.03.26 (最后),那里有一个直观的解释,说明约束与目标函数的关系。
— user603 2010年

Answers:


3

可以使用信封定理最容易地显示对应关系。

λ⋅Ťλ

ŤŤβλ⋅Ť

Ť

我假设这是Hastie等人的书信。在指。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.