AIC可以在不同类型的模型之间进行比较吗?


27

我正在使用AIC(Akaike的信息标准)来比较R中的非线性模型。比较不同类型的模型的AIC是否有效?具体来说,我正在比较glm拟合的模型与glmer(lme4)拟合的带有随机效应项的模型。

如果没有,有没有办法进行这种比较?还是这个想法完全无效?

Answers:


12

这取决于。AIC是对数似然的函数。如果两种类型的模型都以相同的方式(即包含相同的常数)计算对数似然率,则可以,如果模型是嵌套的,则可以。

我可以肯定地说,glm()并且lmer()不会使用可比的对数可能性。

关于嵌套模型的观点也有待讨论。有人说AIC仅对嵌套模型有效,因为这是如何介绍/研究该理论的方法。其他人则将其用于各种比较。


我的理解是,lme4默认情况下使用REML,而glm使用ML。如果您通过设置REML = FALSE使lmer使用ML,它们可能是可比的。
russellpierce

除了您Gavin的评论外,这还取决于您要对模型执行的操作。是用于预测的模型,还是Thomas正在寻找简约性?(我认为)
suncoolsu 2010年

3
@drnexus:我认为这还不够;您必须确保在对数似然计算中使用相同的归一化常数。
恢复莫妮卡-辛普森

2
@Thomas:为此,您需要查看代码或与编写代码的人交谈以确保。通常,假设可能性在不同的软件/程序包/功能之间不具有可比性。
恢复莫妮卡-辛普森

1
@ user3490取决于用于获取估计的软件和算法。通常,除非我确定它们是相同的,否则我认为它们是不一样的。
恢复莫妮卡-辛普森(G. Simpson)2012年

4

这是我一直好奇的一个很好的问题。

对于同一族中的模型(即k阶或多项式的自回归模型),AIC / BIC非常有意义。在其他情况下,则不清楚。精确计算对数似然(使用常数项)应该可以,但是使用更复杂的模型比较(例如贝叶斯因子)可能更好(http://www.jstor.org/stable/2291091)。

如果模型具有相同的损失/误差函数,一种选择是仅比较交叉验证的对数似然率。当我不确定在某些情况下AIC / BIC是否有意义时,通常会尝试这样做。


0

请注意,在某些情况下,AIC甚至无法比较相同类型的模型,例如ARIMA模型具有不同的差分顺序。引用预测: Rob J Hyndman和George Athanasopoulos的原则和实践

dpqdpq


确实,但关键的一点是,不是使比较成为问题的模型类型,而是定义似然性的数据。
理查德·哈迪
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.