在弹性净回归中,为什么lambda“与最小值之间的标准误差之内”是lambda的推荐值?


23

我了解lambda在弹性净回归中扮演什么角色。而且我可以理解为什么要选择lambda.min,即将交叉验证错误最小化的lambda值。

我的问题是在统计资料中建议在哪里使用lambda.1se,即lambda的值可将CV误差加一个标准误差减到最小?我似乎找不到正式的引文,甚至找不到为什么这通常很有价值的原因。我知道这是一个限制性更强的正则化方法,会将参数进一步缩小为零,但我并不总是确定lambda.1se比lambda.min更好的选择。有人可以帮忙解释一下吗?


5
正式的参考文献可以在Hastie等人的文章中找到。“统计学习的要素”第61页。但是,对于这种选择,他们并没有给出太多的理由……
理查德·哈迪

Answers:


22

Friedman,Hastie和Tibshirani(2010),引用《统计学习的要素》,写道,

选择最佳模型时,我们经常使用“一个标准错误”规则;这承认了这样一个事实,即风险曲线的估计是有误差的,因此在简约方面会犯错误。

使用一个标准错误而不是任何其他金额的原因似乎是因为它是...标准。Krstajic等人(2014)写道:

Breiman等。[25]发现在为分类树模型选择最佳树大小的情况下,具有最小交叉验证误差的树大小会生成通常过拟合的模型。因此,在他们的书《 Breiman等人》的第3.4.3节中。[25]定义了一个用于选择最佳树大小的标准错误规则(1 SE规则),并在本书中贯彻执行。为了计算单个V折交叉验证的标准误差,需要为每个折算计算准确性,并根据每个折的V精度计算标准误差。Hastie等。[4]将1 SE规则定义为选择最简约的模型,其误差不超过最佳模型的误差一个标准误差,并且他们建议在多个地方使用1 SE规则进行通用交叉验证。我们同意的1 SE规则的要点是选择精度与最佳模型相当的最简单模型

λ


1
谢谢!现在,当对于那些不熟悉lambda的“标准”选择的人提出问题时,我终于可以引用一些适当的内容。与Krstajic等人的链接也很好。
jhersh 2015年

该引用仅表示“发现1se最适合分类 ”。但是这个问题问到回归!还有其他选择。如果尝试例如退回到2se,则会遇到lambda太大而使系数缩小太多的问题。但是我们可以例如重建模型,该模型排除原始模型中未在lambda.1se中选择的所有变量。
smci

@smci哪个引用?我提取的两个引号都没有,这都表明1-SE规则通常适用,而不仅是分类。
shadowtalker

6

Breiman等人的书(引自Krstajic的其他答案)是我为1SE规则找到的最早的参考书。

这是Breiman,Friedman,Stone和Olshen的分类和回归树(1984)。他们在第3.4.3节中“推导”该规则。

因此,如果您需要正式引用,那似乎是原始来源。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.