我了解lambda在弹性净回归中扮演什么角色。而且我可以理解为什么要选择lambda.min,即将交叉验证错误最小化的lambda值。
我的问题是在统计资料中建议在哪里使用lambda.1se,即lambda的值可将CV误差加一个标准误差减到最小?我似乎找不到正式的引文,甚至找不到为什么这通常很有价值的原因。我知道这是一个限制性更强的正则化方法,会将参数进一步缩小为零,但我并不总是确定lambda.1se比lambda.min更好的选择。有人可以帮忙解释一下吗?
我了解lambda在弹性净回归中扮演什么角色。而且我可以理解为什么要选择lambda.min,即将交叉验证错误最小化的lambda值。
我的问题是在统计资料中建议在哪里使用lambda.1se,即lambda的值可将CV误差加一个标准误差减到最小?我似乎找不到正式的引文,甚至找不到为什么这通常很有价值的原因。我知道这是一个限制性更强的正则化方法,会将参数进一步缩小为零,但我并不总是确定lambda.1se比lambda.min更好的选择。有人可以帮忙解释一下吗?
Answers:
Friedman,Hastie和Tibshirani(2010),引用《统计学习的要素》,写道,
选择最佳模型时,我们经常使用“一个标准错误”规则;这承认了这样一个事实,即风险曲线的估计是有误差的,因此在简约方面会犯错误。
使用一个标准错误而不是任何其他金额的原因似乎是因为它是...标准。Krstajic等人(2014)写道:
Breiman等。[25]发现在为分类树模型选择最佳树大小的情况下,具有最小交叉验证误差的树大小会生成通常过拟合的模型。因此,在他们的书《 Breiman等人》的第3.4.3节中。[25]定义了一个用于选择最佳树大小的标准错误规则(1 SE规则),并在本书中贯彻执行。为了计算单个V折交叉验证的标准误差,需要为每个折算计算准确性,并根据每个折的V精度计算标准误差。Hastie等。[4]将1 SE规则定义为选择最简约的模型,其误差不超过最佳模型的误差一个标准误差,并且他们建议在多个地方使用1 SE规则进行通用交叉验证。我们同意的1 SE规则的要点是选择精度与最佳模型相当的最简单模型。