为什么在时间序列模型中使用信息标准（未调整的

9

在时间序列模型（例如ARMA-GARCH）中，为了选择模型的适当滞后或阶数，使用了不同的信息标准（例如AIC，BIC，SIC等）。

我的问题很简单，为什么不使用调整后的 $R^2$ 选择合适的模型？我们可以选择导致较高的值的模型 $R^2$ 。因为调整后的 $R^2$ 和信息准则都会对模型中更多数量的回归变量进行惩罚，因此前者惩罚 $R^2$ 而后者则惩罚似然值。

— 内拉杰
source

我可能在答案中缺少某些内容（以下），但R平方和调整后的R平方适用于相对有限的OLS估计模型类别，而AIC，BIC等则适用于广义线性模型的较广泛类别用ML或变体估算的模型。

— Mike Hunter

12

我认为至少在讨论线性模型（如AR模型）时，调整后的和AIC并没有太大区别。 $R^2$

考虑是否问题应包含在这等同于比较所述模型 $X_2$

y = \underset{(n \times K_{1})}{X_{1}} β_{1} + \underset{(n \times K_{2})}{X_{2}} β_{2} + ϵ

$y=\underset{(n\times K_1)}{X_1}\beta_1+\underset{(n\times K_2)}{X_2}\beta_2+\epsilon$

其中

。我们说，

是真实模型，如果

。注意，

。因此模型是嵌套的。模型选择过程

\begin{array}{rcl} M_{1} & : & y = X_{1} β_{1} + u \\ M_{2} & : & y = X_{1} β_{1} + X_{2} β_{2} + u, \end{array}

$\begin{eqnarray*} \mathcal{M}_1&:&y=X_1\beta_1+u\\ \mathcal{M}_2&:&y=X_1\beta_1+X_2\beta_2+u, \end{eqnarray*}$

E (u | X_{1}, X_{2}) = 0

$E(u|X_1,X_2)=0$

M_{2}

$\mathcal{M}_2$

β_{2} \neq 0

$\beta_2\neq0$

M_{1} \subset M_{2}

$\mathcal{M}_1\subset\mathcal{M}_2$

\hat{M}

$\widehat{\mathcal{M}}$ 是一个与数据相关的规则，它从多个模型中选择最合理的一个。

$\widehat{\mathcal{M}}$

\begin{array}{rcl} lim_{n \to \infty} P (\hat{M} = M_{1} | M_{1}) & = & 1 \\ lim_{n \to \infty} P (\hat{M} = M_{2} | M_{2}) & = & 1 \end{array}

$\begin{eqnarray*} \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_1|\mathcal{M}_1\bigr)&=&1\\ \lim_{n\rightarrow\infty}P\bigl(\widehat{\mathcal{M}}=\mathcal{M}_2|\mathcal{M}_2\bigr)&=&1 \end{eqnarray*}$

考虑调整后的。也就是说，如果选择。由于在单调递减，因此此过程等效于最小化。反过来，这等效于最小化。对于足够大的，后者可以写为其中 $R^2$ $\mathcal{M}_1$ $\bar{R}^2_1>\bar{R}^2_2$ $\bar{R}^2$ $s^2$ $s^2$ $\log(s^2)$ $n$

\begin{array}{rcl} \log (s^{2}) & = & \log ({\hat{σ}}^{2} \frac{n}{n - K}) \\ = & \log ({\hat{σ}}^{2}) + \log (1 + \frac{K}{n - K}) \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n - K} \\ \approx & \log ({\hat{σ}}^{2}) + \frac{K}{n}, \end{array}

$\begin{eqnarray*} \log(s^2)&=&\log\left(\widehat{\sigma}^2\frac{n}{n-K}\right) \\ &=&\log(\widehat{\sigma}^2)+\log\left(1+\frac{K}{n-K}\right) \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n-K} \\ &\approx&\log(\widehat{\sigma}^2)+\frac{K}{n}, \end{eqnarray*}$

{\hat{σ}}^{2}

$\widehat{\sigma}^2$ 是误差方差的ML估计量。因此，基于的模型选择在渐近上等效于选择具有最小。此过程不一致。

{\bar{R}}^{2}

$\bar{R}^2$

\log ({\hat{σ}}^{2}) + K / n

$\log(\widehat{\sigma}^2)+K/n$

命题：

lim_{n \to \infty} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) < 1

$\lim_{n\rightarrow\infty}P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)<1$

证明：，这里的倒数第二行是因为在线性回归情况下，统计量是LR统计量，它遵循渐近空分布。优质教育

\begin{array}{rcl} P ({\bar{R}}_{1}^{2} > {\bar{R}}_{2}^{2} | M_{1}) & \approx & P (\log (s_{1}^{2}) < \log (s_{2}^{2}) | M_{1}) \\ = & P (n \log (s_{1}^{2}) < n \log (s_{2}^{2}) | M_{1}) \\ \approx & P (n \log ({\hat{σ}}_{1}^{2}) + K_{1} < n \log ({\hat{σ}}_{2}^{2}) + K_{1} + K_{2} | M_{1}) \\ = & P (n [\log ({\hat{σ}}_{1}^{2}) - \log ({\hat{σ}}_{2}^{2})] < K_{2} | M_{1}) \\ \to & P (χ_{K_{2}}^{2} < K_{2}) \\ < & 1, \end{array}

$\begin{eqnarray*} P\bigl(\bar{R}^2_1>\bar{R}^2_2|\mathcal{M}_1\bigr)&\approx&P\bigl(\log(s^2_1)<\log(s^2_2)|\mathcal{M}_1\bigr) \\ &=&P\bigl(n\log(s^2_1)<n\log(s^2_2)|\mathcal{M}_1\bigr) \\ &\approx&P(n\log(\widehat{\sigma}^2_1)+K_1<n\log(\widehat{\sigma}^2_2)+K_1+K_2|\mathcal{M}_1) \\ &=&P(n[\log(\widehat{\sigma}^2_1)-\log(\widehat{\sigma}^2_2)]<K_2|\mathcal{M}_1) \\ &\rightarrow&P(\chi^2_{K_2}<K_2) \\ &<&1, \end{eqnarray*}$

χ_{K_{2}}^{2}

$\chi^2_{K_2}$

现在考虑Akaike的标准，即因此，AIC还在权衡“惩罚性条款”和其他回归指标所隐含的SSR降低之间进行权衡”指向相反的方向。因此，如果，请选择，否则请选择。

A I C = \log ({\hat{σ}}^{2}) + 2 \frac{K}{n}

$AIC=\log(\widehat{\sigma}^2)+2\frac{K}{n}$

M_{1}

$\mathcal{M}_1$

A I C_{1} < A I C_{2}

$AIC_1<AIC_2$

M_{2}

$\mathcal{M}_2$

可以看出，通过将上述证明在第三行中继续使用，也不一致。因此，即使是真实模型，调整后的和正概率选择“大”模型。 $AIC$ $P(n\log(\widehat{\sigma}^2_1)+2K_1<n\log(\widehat{\sigma}^2_2)+2(K_1+K_2)|\mathcal{M}_1)$ $R^2$ $AIC$ $\mathcal{M}_2$ $\mathcal{M}_1$

但是，由于AIC中复杂性的损失要比调整后的稍大，因此，它不太可能过分选择。而且它还有其他一些不错的属性（如果不在考虑的模型集中，则将KL差异最小化为真实模型）在我的帖子中未解决。 $R^2$

— 克里斯多夫·汉克
source

1

好答案：不太重，但仍然准确！如果昨天去过那儿，我不会张贴我的。

— 理查德·哈迪

对于ARMA-GARCH案例呢？在选择amung MA和GARCH术语时会如何做？

R_{a d j}^{2}

$R^2_{adj}$

— Zachary Blumenfeld

我不敢说。正如您所解释的那样，R2对于这种模型的适合性甚至还不清楚。

— Christoph Hanck

5

中的损失在AIC或BIC提出的模型选择方面没有产生很好的性能。当没有回归变量实际上不属于模型时，的惩罚足以使成为总体的无偏估计量（根据Dave Giles的博客文章“在某种意义上说是“调整后的R平方无偏的？”和“关于“调整后的”确定系数的性质的更多信息”）？但是，不是最佳模型选择器。 $R^2_{adj}$ $R^2_{adj}$ $R^2_{adj}$ $R^2$ $R^2_{adj}$

（可能有一个矛盾的证明：如果AIC在一种意义上是最优的，而BIC在另一种意义上是最优的，并且不等同于任何一个，那么都不是最优的两种感官中的一种。） $R^2_{adj}$ $R^2_{adj}$

— 理查德·哈迪
source

在增加之前，我必须添加几个GARCH参数？：）....我相信可以为相关误差的假设做出类似的论点（就像在MA模型中一样），GLS模型不会减少普通最小二乘法的残差平方和。在MA和GARCH中，都将参数（不是为进行调整的解释性变量）添加到模型中。不添加MA和GARCH参数以减少，而是添加它们以增加可能性和/或减少平方残差的加权总和以反映缺乏iid误差项。

R^{2}

$R^2$

R^{2} a d j

$R^2{adj}$

S S R

$SSR$

— Zachary Blumenfeld

这实际上是针对原始帖子还是我的答案？无论如何，我同意你的观点。

— 理查德·哈迪

我要指出的是，不能真正用于选择GARCH分量（也可能是MA分量），因为它基于对于的分数，这是有偏估计量错误项不是iid时的方差。（这只是您所谈论的偏见的一种具体情况）。对于ARMA-GARCH，即使数据存在随机波动，也永远不会选择具有GARCH组件的模型，因为它不会增加。基本上，我通过尝试举一些具体的例子来表示同意。

R_{a d j}^{2}

$R^2_{adj}$

S S T - S S R

$SST-SSR$

S S T

$SST$

R^{2}

$R^2$

— Zachary Blumenfeld