不同的AIC定义

12

在Wikipedia中，Akaike的信息标准（AIC）的定义为，其中是参数的数量，是模型的对数似然性。 $AIC = 2k -2 \log L$ $k$ $\log L$

但是，我们的计量经济学家在一家备受尊敬的大学中指出，。这里是ARMA模型中误差的估计方差，是时间序列数据集中观测值的数量。 $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

后一个定义是否等同于第一个定义，但仅针对ARMA模型进行了调整？还是两个定义之间存在某种冲突？

— 皮尔
source

3

记录：条件单数，条件复数。（据此进行了编辑。）

— Nick Cox

15

您从笔记中引用的公式并不完全是AIC。

AIC是。 $-2\log\mathcal{L}+2k$

在这里，我将给出一个近似推导的轮廓，该轮廓足以使发生的事情足够清楚。

如果您的模型具有独立的法线误差且方差恒定，

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

在最大可能性下可以估计为

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

（假设的估计是ML估计） $\sigma^2$

因此（最多可移动一个常数） $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

现在在ARMA模型中，如果与和相比确实很大，则可以通过这样的高斯框架来近似该可能性（例如，您可以将ARMA近似编写为更长的AR，并以足够的条件来写该AR作为回归模型），因此用代替： $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

因此

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

现在，如果您只是比较 AIC，则除以根本没有关系，因为它不会改变AIC值的顺序。 $T$

但是，如果您将AIC用于依赖于AIC差异的实际值的其他目的（例如，按照Burnham和Anderson的描述进行多模型推理），那么这很重要。

许多计量经济学文本似乎都使用此AIC / T表格。奇怪的是，有些书似乎引用了Hurvich和Tsai 1989或Findley 1985的形式，但是Hurvich＆Tsai和Findley似乎在讨论原始形式（尽管我只是间接指出了Findley目前所做的事情，所以也许有在Findley上进行操作）。

进行缩放的原因可能多种多样，例如，时间序列（尤其是高频时间序列）可能会很长，而普通AIC可能会变得笨拙，尤其是当非常小时。（还有其他可能的原因，但是由于我真的不知道这样做的原因，因此我不会开始列出所有可能的原因。） $\sigma^2$

您可能想看看Rob Hyndman的AIC事实和谬误列表，尤其是第3至7项。其中有些观点可能会使您至少对谨慎地过分依赖高斯似然近似有所谨慎，但是也许有比我在这里提供的更好的理由。

我不确定是否有充分的理由将这种近似值用于对数可能性而不是实际的AIC，因为如今许多时间序列包都倾向于计算（/最大化）ARMA模型的实际对数可能性。似乎没有理由不使用它。

— Glen_b-恢复莫妮卡
source

1

早晚，关于任何* IC的每次讨论都会变成“这是您应该使用的标准，只是在这种情况下通常会给出错误的答案”。只是具有讽刺意味，根本不批评通常有用的答案。这就像现实生活中那样，如果有人试图殴打或欺骗您，通常会被其他建议暂时取代一些通用的格言，例如“爱大家”。

— 尼克·考克斯

1

@Nick我对使用AIC /而不是AIC 的文本并不感到困扰，但是让我担心的是，我看过的许多计量经济学书籍都将其称为“ AIC”，而没有任何评论。对我来说，这是鲁re不负责任的。谁先这样做但不这样做，是一次又一次地被复制。

n

$n$

— Glen_b-复原莫妮卡

2

我相信这是基于正常错误的假设。在计量经济学中，您使用渐近线进行操作，尤其是在使用AIC的时间序列应用程序中。结果，正常假设应该渐近地成立，以证明该（渐近）模型选择方案是正确的。

回想正常似然的对数为，如果您的数据是从X提取的，那么我们使用和。观察到的样本不会对其产生影响。 $ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

只需使用更通用的（第一个）公式并为正常似然插入。第一项可以忽略（无论回归变量选择如何，它都是一个常数）。第二项变为。第三项变为，在这里我们使用了。再一次，不使用有限样本校正是合理的，因为只有在误差不正常时，该估计量才渐近有效。由于我们不知道，因此我们必须将第三项估计为 =T。 $L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

总之，这意味着我们得到的正常可能性。不用说，最小化不受忽略常数。现在，该术语简单地除以，因为它不会改变最小化问题，从而按缩放所有加性组分。这使您获得第二个结果，因为和在最小化方面是相同的。 $AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

— 耶利米斯K
source