AIC和BIC是否可能给出完全不同的模型选择?


12

我正在执行带有1个响应变量和6个协变量的Poisson回归模型。使用AIC进行的模型选择会产生具有所有协变量以及6个交互项的模型。但是,BIC导致只有2个协变量且没有交互项的模型。看起来非常相似的两个准则是否可能产生完全不同的模型选择?


6
如果不可能从这两个指标中获得不同的模型建议,那么就不会有两个指标,我们只会使用一个。
格里戈尔·托马斯

当模型是从一组离散参数中进行选择的结果时,“完全不同”一词很难解释。
BallpointBen

Answers:


21

确实有可能。如https://methodology.psu.edu/AIC-vs-BIC所述,“ BIC对模型复杂性的惩罚更大。他们唯一不同意的方法是AIC选择比BIC更大的模型。”

如果您的目标是确定一个好的预测模型,则应使用AIC。如果您的目标是确定一个好的解释模型,则应使用BIC。Rob Hyndman在
https://robjhyndman.com/hyndsight/to-explain-or-predict/很好地总结了此建议:

“ AIC更适合用于预测的模型选择,因为它渐近等效于回归中的留一法交叉验证,或时间序列中的一步交叉验证。另一方面,有人认为BIC具有一致性,因此更适合模型选择进行解释。”

该建议来自Galit Shmueli的论文“要解释还是要预测?”,《统计科学》,第25卷第3期,第289-310页(https://projecteuclid.org/euclid.ss/1294167961)。

附录:

还有第三种类型的建模-描述性建模-但我不知道有哪个参考最适合识别最佳描述性模型的AIC或BIC。我希望这里的其他人可以从他们的见解中受益。


6
lnn<2n7

好点子!如果样本大小为7或更小,我可以想象选择模型是不可能的。😀
伊莎贝拉Ghement

还有第三种类型的建模-描述性建模-但我不知道有哪个参考最适合识别最佳描述性模型的AIC或BIC。我希望这里的其他人可以从他们的见解中受益。是答案还是问题?
Subhash C. Davar

@ subhashc.davar:还没有答案-我很想向Galit Shmueli发送电子邮件,并要求她对此发表看法。
Isabella Ghement

1
如果我们理解“描述性”的含义并认真对待它,我不确定谈论确定最佳描述性模型是否有意义。
gung-恢复莫妮卡

11

简短的回答:是的,这很有可能。两者基于估计参数的数量应用不同的惩罚(AIC为2k,BIC为ln(n)xk,其中k为估计参数的数量,n为样本量)。因此,如果通过添加参数获得的可能性很小,则BIC可以为AIC选择不同的模型。但是,这种效果取决于样本量。


2
明确表明n是上述方程式中的样本大小将很高兴
fabiob
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.