BIC是否试图找到一个真实的模型?


17

这个问题是后续工作,还是试图消除关于主题I的可能混淆,以及其他许多问题,涉及AIC和BIC之间的区别,这有点困难。@Dave Kellen在有关此主题的一个非常好的答案中(/stats//a/767/30589)阅读:

您的问题暗示AIC和BIC试图回答同一问题,这是不正确的。AIC试图选择最能充分描述未知的高维现实的模型。这意味着现实永远不会在所考虑的候选模型集中。相反,BIC试图在一组候选者中找到TRUE模型。我发现在研究人员沿途建立的模型之一中实例化了现实这一假设很奇怪。对于BIC来说,这是一个真正的问题。

在下面的评论中,@ gui11aume,我们读到:

(-1)很好的解释,但我想挑战一个断言。@Dave Kellen能否请您参考一下BIC必须包含TRUE模型的想法?我想对此进行调查,因为在本书中作者给出了令人信服的证据,证明事实并非如此。– gui11aume12年5月27日在21:47

似乎该断言来自Schwarz本人(1978),尽管断言不是必需的:同一位作者(如@ gui11aume的链接),我们从他们的文章“多模型推断:在模型选择中理解AIC和BIC”中阅读(伯纳姆和安德森(2004):

BIC的推导是假设存在真实模型,还是更狭义地讲,使用BIC时假设真实模型在模型集中?(Schwarz的推导指定了这些条件。)……答案……不。即,可以在不假设推导基础的模型为真的情况下推导BIC(作为对某个贝叶斯积分的近似的基础)(参见,例如,Cavanaugh和Neath 1999; Burnham和Anderson 2002:293-5)。当然,在应用BIC时,模型集不需要包含表示完整现实的(不存在)真实模型。而且,从BIC选择的模型到targbet模型的概率收敛(在iid样本理想化的情况下)在逻辑上并不意味着该目标模型必须是真实的数据生成分布。

因此,我认为值得对此主题进行讨论或澄清(如果需要更多说明)。目前,我们所收到的只是@ gui11aume的评论(谢谢!),该评论针对AIC和BIC之间的差异进行了高度投票。


1
为了更好地集中问题,也许可以从标题中删除AIC,因为如果我理解正确,那么这个问题是关于使用BIC时是否需要将真实模型包含在候选集中。
Juho Kokkala '16

@JuhoKokkala:我同意。
Erosennin '16

4
对我而言,最重要的是,在大多数实际应用中,BIC会导致拟合不足,而AIC会更准确地根据未提供的新数据评估模型的可能性能。但是,如果从3个竞争模型/功能集中进行选择,则无论使用AIC还是BIC,生成的模型都可能过拟合。当潜在模型的数量较少或模型通过少量参数(例如惩罚)连接时,AIC和BIC效果最佳。
弗兰克·哈雷尔

感谢@Erosennin挖掘参考。我现在知道必须包含TRUE模型的想法是从哪里来的。
gui11aume16年

@FrankHarrell:您能解释一下“实际应用”的含义吗?如果我正确地理解了伯纳姆和安德森,似乎BIC会在数据稀缺时导致欠拟合。当我们拥有大量数据时,BIC实际上会选择/搜索比AIC更复杂的准真实模型。AIC和BIC具有不同的“目标模型”。如果您只是想指出一些文章/书,我希望您能详细说明一下。
Erosennin '16

Answers:


11

p中号1个|ÿp中号2|ÿ>1个一种小号一世C中号1个<小号一世C中号2
一种p中号Ĵ|ÿĴÿ

我认为造成混淆的原因是SIC具有另一个不错的功能,即在某些条件下,如果“真实”模型位于模型范围之内,它将渐近选择“真实”模型。AIC和SIC都是准则特例

一世Cķ=-2Ťθ^;ÿ+ķGŤ
θ^;ÿθ^ķŤ
GŤ0
ŤGŤ
G一种一世CŤ=2ŤG小号一世CŤ=lnŤŤ

Elliott,G.和A.Timmermann(2016年4月)。经济预测。普林斯顿大学出版社。

基甸·施瓦茨 “估计模型的维度。” 统计年鉴6.2(1978):461-464。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.