AIC中“参数数量”的含义

21

在计算AIC时，

$AIC = 2k - 2 ln L$

k表示“参数数量”。但是什么算作参数呢？因此，例如在模型中

$y = ax + b$

a和b总是算作参数吗？如果我不在乎拦截的值怎么办，我可以忽略它还是可以算数呢？

如果

$y = a f(c,x) + b$

哪里是c和x的函数，我现在算3个参数吗？ $f$

aic

— 杂耍节目鲍勃
source

9

这是一个好问题，因为有一个微妙之处：是要估计的可识别参数的数量。例如，尽管在回归模型中，写入了五个参数，但。（此模型等效于和和，后者仅需要四个参数。）

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

严格地，您计算所有可识别的自由参数-均值参数，形状和比例参数，无论什么（这对AIC），但是对于AIC，如果忽略要比较的模型共有的参数，则没有关系。因此，例如，在回归分析中，您应该计算方差参数。因此，以我的观点，问题中所有参数的数量都为一，但是如果所有模型中只有一个，对于AIC删除它就不会有伤害。在回归模型中计算AIC时，R明确计算方差参数。

_{C}

$_C$

— Glen_b-恢复莫妮卡2014年

@whuber为什么没有将此出色评论发布为答案？:)

— Alexis

谢谢@Alexis。我将此想法发表为评论，因为P Schnell的答案已充分涵盖了该想法：我只想再强调一点。

— ub

17

正如古根提到的，代表估计的参数数量。换句话说，这是您要完全指定模型需要知道的其他数量。在简单的线性回归模型您可以估计，或两者。无论您不估计多少数量，都必须解决。在您不知道和不关心它的意义上，没有“忽略”参数。不能同时估计和的最常见模型是不拦截模型，其中我们将固定。这将有1个参数。您可以轻松地修复或 $k$

ÿ = 一种 X + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ 如果您有理由相信它反映了现实。（要点：也是简单线性回归中的一个参数，但是由于每个模型中都有它，因此您可以在不影响AIC比较的情况下将其删除。）

σ

$\sigma$

如果您的模型是，则参数的数量取决于是否固定这些值中的任何一个以及的形式。例如，如果我们要估计并知道，那么当我们写出模型时，我们将与三个未知参数一起使用。但是，如果，那么我们的模型实际上只有两个参数：和。

ÿ = 一种 F （ C ， X ） + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

ÿ = 一种 X^{C} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

ÿ = 一种 C X + b

$y=acx+b$

a c

$ac$

b

$b$

是由索引的函数族至关重要。如果您只知道是连续的并且取决于和，那么您就不走运了，因为有无数个连续函数。 $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— 施奈尔
source

2

（+1）也许值得一提的是，整个“估计”是指“通过最大可能性估计”。

— Scortchi-恢复莫妮卡

这真的重要吗？实际上，我的是一个巨大的模拟，无法进行分析分解，并且要花费数小时才能计算出来。我尝试使用大约20个不同的值，因为这是我们所需要的全部时间，我坚持使用的值在一天结束时给出最佳的。因此，从某种意义上讲，我已尽力估计了，尽管您不像回归中那样估计。当然，它仍然算作AIC的参数吗？

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

— 杂耍节目Bob

2

@SideshowBob：是的-比较两个模型时，对数似然最大化的差异是预期Kullback-Leibler信息丢失差异的偏差估计值，而AIC中的惩罚项会大致纠正该偏差。

— Scortchi-恢复莫妮卡

1

@SideshowBob：我应该提到AIC的修改，用于广义估计方程等-它们使用最大化的拟似然性和更复杂的惩罚项。

— Scortchi-恢复莫妮卡

4

$\mathit{AIC} = 2k - 2\ln(L)$

（请参阅此处）

$k$

我没有足够的知识来回答您的第二个问题，我将其留给社区的另一个成员。

— 慕根
source

1

λ

$\lambda$

1

是的，当然了。

— PA6OTA 2014年

1

首先，对于那些可能不熟悉AIC的人：Akaike信息标准（AIC）是一个简单的指标，旨在比较模型的“优缺点”。

根据AIC的说法，当尝试在两个应用于相同输入和响应变量的不同模型（即旨在解决相同问题的模型）之间进行选择时，具有较低AIC的模型被认为“更好”。

$k$

c $f(c, x)$ $k$

— 阿里耶夫
source