glm或glmnet哪个更准确?


10

R glm和glmnet使用不同的算法。

当我同时使用两者时,我会发现估计系数之间存在不小的差异。

我对何时一个比另一个更准确以及解决/准确性权衡的时间感兴趣。

具体来说,我指的是在glmnet中设置lambda = 0的情况,这是因为它估计与glm相同。


1
您在询问lambda = 0时的性能和精度差异,这两者在理论上应该是相同的。我认为您应该将其添加到您的问题中。
smci 2014年

Answers:


14

Glmnet用于弹性净回归。这会惩罚估计系数的大小(通过混合使用L1和L2惩罚)。它试图通过模型尽可能多地解释数据的差异,同时保持模型系数较小。我发现这些幻灯片有助于理解它。

Glm不使用惩罚条款。

据我了解,这种效果是,在使用弹性网时,您可能会接受一些偏差,以减少估计量的方差。因此,最佳选择必须取决于您如何根据偏差和方差定义“最佳”。(例如,与观测相比,当您拥有许多功能时,我知道glmnet具有优势)


链接似乎已断开
ndoogan

该链接现在有效
smci 2014年

好吧,您只是在解释glmnet的作用-但OP所指的是在glmnet中设置lambda = 0时的情况,在这种情况下,结果原则上应返回与(非penalized)glm相同的结果(保存一些小数值)差异与glmnet中使用的循环坐标下降拟合方法有关)。
Tom Wenseleers
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.