AIC和BIC号码解释

23

我正在寻找有关如何解释AIC（赤池信息标准）和BIC（贝叶斯信息标准）估计值的示例。

BIC之间的负差可以解释为一种模型相对于另一种模型的后验几率吗？我该如何说呢？例如，BIC = -2可能暗示较好模型相对于其他模型的几率约为？ $e^2= 7.4$

任何新手都会受到这个新手的赞赏。

interpretation aic bic

— 胡安
source

看一看第2章。第2.6节-可以在Google图书上部分获得-可能会特别帮助您。books.google.se/…（参考：Kenneth P. Burnham和David R. Anderson。Springer Verlag的模型选择和多模型推断）

— boscovich 2012年

6

用于模型一个的先验模型集可以recaled到其中该模型组的最佳模式将具有。我们可以使用值估计的证据强度（）对所有型号的模型集，其中： $AIC$ $i$ $\mathsf{\Delta}_i=AIC_i-minAIC$ $\mathsf{\Delta}=0$ $\mathsf{\Delta}_i$ $w_i$ 给定先验模型集，这通常被称为模型的“证据权重”。作为增加，减小表明模型是不太可信。这些值可以解释为给定先验模型集的情况下，模型是最佳模型的概率。我们还可以将模型与模型的相对可能性计算为

w_{一世} = \frac{Ë^{（ - 0.5 Δ_{一世} ）}}{\sum_{[R = 1个}^{[R} Ë^{（ - 0.5 Δ_{一世} ）}} 。

$w_i = \frac{e^{(-0.5\mathsf{\Delta}_i)}}{\sum_{r=1}^Re^{(-0.5\mathsf{\Delta}_i)}}.$

i

$i$

Δ_{i}

$\mathsf{\Delta}_i$

w_{i}

$w_i$

i

$i$

w_{i}

$w_i$

i

$i$

i

$i$

j

$j$

。例如，如果

且

那么我们可以说模型

是模型

8倍。

w_{i} / w_{j}

$w_i/w_j$

w_{i} = 0.8

$w_i = 0.8$

w_{j} = 0.1

$w_j = 0.1$

i

$i$

j

$j$

注意，当模型1是最好的模型（最小）。Burnham和Anderson（2002）将其称为证据比率。下表显示了相对于最佳模型的证据比率如何变化。 $w_1/w_2 = e^{0.5\Delta_2}$ $AIC$

Information Loss (Delta)    Evidence Ratio
0                           1.0
2                           2.7
4                           7.4
8                           54.6
10                          148.4
12                          403.4
15                          1808.0

参考

Burnham，KP和DR Anderson。2002。模型选择和多模型推理：实用的信息理论方法。第二版。美国纽约斯普林格。

Anderson，DR，2008年。生命科学中基于模型的推理：证据入门。美国纽约斯普林格。

— 力拓
source

您是否想弄清楚

指的是什么，特别是因为总和的索引未出现在总和内。

是否跨越模型空间？

r

$r$

R

$R$

— dopexxx

模型集中有R个模型。

— RioRaider

3

我认为没有对AIC或BIC的任何简单解释。它们都是采用对数似然性并对估计的参数数量施加惩罚的数量。Akaike在1974年开始的论文中为AIC解释了具体的罚款。吉迪恩·施瓦茨（Gideon Schwarz）在1978年的论文中选择了BIC，并受到贝叶斯论证的激励。

— 迈克尔·R·切尼克
source

2

但是，该惩罚可以解释为特定大小的优先模型。如果您碰巧采用了该先验算法（它具有一些信息理论上的依据），则可以直接从IC值计算出后验优势比。另外，@ RioRaider提到了Akaike权重，这使您有可能就KL散度而言，给定模型是该集中最佳模型。（参考-请参阅第800页）。

— 戴维·哈里斯

1

由于贝叶斯因子的近似值，您可能使用了BIC。因此，您不考虑（或多或少）事先分配。比较模型时，模型选择阶段的BIC很有用。为了完全理解BIC，贝叶斯因素我强烈建议阅读一篇文章（第4节）：http : //www.stat.washington.edu/raftery/Research/PDF/socmeth1995.pdf，以补充知识：http：// www .stat.washington.edu / raftery / Research / PDF / kass1995.pdf

— 罗伯特
source