AIC,BIC,CIC,DIC,EIC,FIC,GIC,HIC,IIC —是否可以互换使用?


47

在第 他的PRNN的第 34页Brian Ripley评论说:“ AIC被Akaike(1974)命名为“信息准则”,尽管似乎通常认为A代表Akaike。实际上,在介绍AIC统计信息时,Akaike(1974,p.719)解释说:

"IC stands for information criterion and A is added so that similar statistics, BIC, DIC
etc may follow".

将此报价视为1974年的预测,有趣的是,在短短的四年中,Akaike(1977,1978)和Schwarz(1978)提出了两种类型的BIC统计量(贝叶斯统计量)。Spiegelhalter等人。(2002)提出DIC(Deviance IC)的时间更长。尽管Akaike(1974)并没有预测CIC标准的出现,但相信从未考虑过这一点是天真的。它是由Carlos C. Rodriguez在2005年提出的。(请注意,R。Tibshirani和K. Knight的CIC(协方差通胀标准)是另一回事。)

我知道EIC(经验IC)是Monash大学的人们在2003年左右提出的。我刚刚发现了聚焦信息标准(FIC)。有些书将Hannan和Quinn IC称为HIC,请参阅例如本)。我知道应该有GIC(通用IC),而且我刚刚发现了信息投资标准(IIC)。有NIC,TIC等。

我想我可能会覆盖其余的字母,所以我不问序列AIC,BIC,CIC,DIC,EIC,FIC,GIC,HIC,IIC,...的停靠点,或字母表中的哪些字母未被使用或至少被使用过两次(例如,EIC中的E可以表示扩展的或经验的)。我的问题更简单,希望对实际更有用。我是否可以互换使用这些统计信息,而忽略它们所依据的特定假设,它们应适用的特定情况等等?

这个问题部分是由Burnham&Anderson(2001)提出的,其动机是:

...the comparison of AIC and BIC model selection ought to be based on their performance 
properties such as mean square error for parameter estimation (includes prediction) and 
confidence interval coverage: tapering effects or not, goodness-of-fit issues, 
derivation of theory is irrelevant as it can be frequentist or Bayes. 

Hyndman等人的专着《指数平滑》的第7章在研究五个替代IC(AIC,BIC,AICc,HQIC,LEIC)在选择最能预测模型(按实测)时的表现时,似乎遵循了BA的建议。通过新提出的错误度量(称为MASE)得出结论,认为AIC通常是更好的选择。(HQIC仅被报告为最佳模型选择器。)

我不确定将所有ICc隐式地视为将它们当作在相同假设下回答一个相同问题的研究活动的有用目的是什么。特别是,我不确定通过在非平稳指数的情况下使用一致准则来确定自回归(Hannan和Quinn为遍历平稳序列推导)的顺序的预测性能是否有用。 Hyndman等人的专着中描述和分析的平滑模型。我在这里想念什么吗?

参考文献:

Akaike,H.(1974),《统计模型识别的新视角》,IEEE Transactions on Automatic Control 19(6),716-723。

Akaike,H.(1977),关于熵最大化原理,在PR Krishnaiah编辑,统计应用,第1卷。27,阿姆斯特丹:北荷兰省,第27-41页。

Akaike,H.(1978),最小AIC程序的贝叶斯分析,统计数学研究所年鉴 30(1),9-14。

Burnham,KP&Anderson,DR(2001)Kullback-Leibler信息作为对生态研究进行强推论的基础,野生动物研究 28,111-119

Hyndman,RJ,Koehler,AB,Ord,JK和Snyder,RD 用指数平滑法进行预测:状态空间方法。纽约:施普林格,2008年

Ripley,BD 模式识别和神经网络。剑桥:剑桥大学出版社,1996年

Schwarz,G.(1978),《估计模型的维数》,《统计年鉴》 6(2),461-464。

Spiegelhalter,DJ,Best,NG,Carlin,BP和van der Linde,A。(2002年),模型复杂度和t的贝叶斯测度(有讨论),《皇家统计学会杂志》。系列B(统计方法) 64(4),583-639。


9
在与Findley和Parzen的对话中(projecteuclid.org/download/pdf_1/euclid.ss/1177010133),Akaike透露AIC在她的FORTRAN程序中被助手使用。变量名称,例如IC,默认情况下隐含整数。诸如A之类的前缀足以指示编译器该数量是实数。尽管不打算使用“赤池(Akaike)”,但他意识到这也意味着“一个”。(顺便说一句,尽管此引用实际上是对一个错误故事的解毒剂,但它使Mallows的拼写错误永久化为Mallow的错误。)
Nick Cox

这个问题使我们想到“字母实验设计”:doe.soton.ac.uk/elearning/section3.6.jsp
kjetil b halvorsen

Answers:


36

我的理解是AIC,DIC和WAIC都在估计同一件事:与模型相关的预期样本外偏差。这与交叉验证估计也是一样。在Gelman等人中。(2013),他们明确地说:

估计样本外预测误差的自然方法是交叉验证(关于贝叶斯观点,请参见Vehtari和Lampinen,2002),但是研究人员一直在寻找替代方法,因为交叉验证需要重复的模型拟合并且可以稀疏数据遇到麻烦。仅出于实际原因,仍然存在进行简单偏差校正的地方,例如AIC(Akaike,1973年),DIC(Spiegelhalter,Best,Carlin和van der Linde,2002年,van der Linde,2005年),以及最近的WAIC (渡边,2010年),所有这些都可以看作是交叉验证不同版本的近似值(Stone,1977年)。

BIC估计有些不同,这与最小描述长度有关。Gelman等。说:

BIC及其变体与此处考虑的其他信息标准有所不同,其动机不是基于预测拟合的估计,而是基于模型下数据的边际概率密度p(y)的近似值,该值可用于在一组离散模型比较中估计相对后验概率。

不幸的是,我对您列出的其他信息标准一无所知。

您可以互换使用类似AIC的信息标准吗?意见可能有所不同,但是鉴于AIC,DIC,WAIC和交叉验证都估计相同的事物,那么是的,它们或多或少是可以互换的。如上所述,BIC是不同的。我对其他人一无所知。

为什么会有不止一个?

  • 当您具有最大似然估计和固定先验值时,AIC效果很好,但是对于其他情况并没有什么可说的。当参数数量接近数据点数量时,代价也太小。 AICc对此进行了过度纠正,根据您的观点,它可能是好是坏。

  • 如果模型的某些部分受到先验条件的严格限制(例如,在某些多级模型中估计了方差成分),则DIC会使用较小的惩罚。这很好,因为受严重约束的参数并不能真正构成完全的自由度。不幸的是,通常用于DIC的公式假定后验本质上是高斯式的(即,其均值可以很好地描述),因此在某些情况下可以得到奇怪的结果(例如,负罚分)。

  • WAIC比DIC更有效地利用了整个后部密度,因此Gelman等人。尽管在某些情况下可能很难计算,但还是比较喜欢它。

  • 交叉验证不依赖于任何特定公式,但是对于许多模型而言,交叉验证在计算上是令人望而却步的。

在我看来,关于使用哪种类似于AIC的标准的决定完全取决于这些实际问题,而不是数学证明一个标准会比另一个标准更好。

参考文献

Gelman等。了解贝叶斯模型的预测信息标准。可从http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.295.3501&rep=rep1&type=pdf获取


3
除了参考Gelman等。了解贝叶斯模型的预测信息标准还请参见最近的论文Aki Vehtari,Andrew Gelman和Jonah Gabry(2016)。使用留一法交叉验证和WAIC的实用贝叶斯模型评估。在统计与计算中,doi:10.1007 / s11222-016-9696-4。arXiv预印本arXiv:1507.04544。arxiv.org/abs/1507.04544本文还说明了许多模型都可以在可忽略的时间内计算出可靠的交叉验证。
Aki Vehtari

4

“可互换”这个词太强了。所有这些都是寻求比较模型并找到“最佳”模型的标准,但是每个标准对“最佳”的定义都不同,并且可能会将不同的模型标识为“最佳”。


0

“提出全民投票”。只是投票!;-)我完全从我的个人经验中喜欢CAIC(Bozdogan,1987)和BIC,因为这些标准对复杂性造成了严重的惩罚,因此我们得到了更多的简约性,但是我总是展示良好模型的列表-差异4-6 -8(而不是2)。在调查参数的步骤中(因为我们拥有“候选模型的良好扩展”),MM平均(B&A)通常几乎没有变化。我对经典的AIC和AICc(H&T,由B&A推广)都有些怀疑,因为它们通常会给人一层非常“浓密的乳霜”。;-)

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.