自相关测试：Ljung-Box与Breusch-Godfrey

35

我习惯于看到Ljung-Box测试非常频繁地用于测试原始数据或模型残差中的自相关。我几乎忘记了还有另一个自相关检验，即布劳希-哥德弗雷检验。

问题： Ljung-Box和Breusch-Godfrey检验的主要区别和相似之处是什么？何时应优先选择另一个？

（欢迎提供参考。尽管我看了几本教科书并在线搜索了材料，但是我还是无法找到这两个测试的任何比较。我能够分别找到每个测试的描述，但是我感兴趣的是两者的比较。）

time-series hypothesis-testing autocorrelation

— 理查德·哈迪
source

36

计量经济学界强烈反对 Ljung-Box $Q$ 统计量用于基于自回归模型的残差（即回归矩阵中的滞后因变量）进行自相关测试的有效性，尤其是Maddala（2001） “计量经济学概论（3d版），第6.7和13页。5 528. Maddala从字面上感叹该测试的广泛使用，而是适当地考虑了Breusch和Godfrey的“ Langrange Multiplier”测试。

Maddala反对Ljung-Box检验的论点与针对另一种无所不在的自相关检验“ Durbin-Watson”提出的论点相同：回归矩阵中存在滞后因变量，因此该检验偏向于维护零假设。 “无自相关”（在@javlacalle中获得的蒙特卡洛结果暗示了这一事实）。Maddala还提到了测试的低功耗，例如，参见Davies，N.和＆Newbold，P.（1979）。时间序列模型规范的Portmanteau测试的一些功效研究。Biometrika，66（1），153-155。

林（2000）， ch。2.10“串行相关性测试”提出了统一的理论分析，并且我相信可以澄清此问题。Hayashi从零开始：要使Ljung-Box统计量渐近地以卡方分布，我们必须将过程（无论代表什么）（我们将其输入到统计量中的样本自相关性）是，在没有自相关的零假设下，mar差序列，即满足 $Q$ $\{z_t\}$ $z$

E (z_{t} ∣ z_{t - 1}, z_{t - 2}, . . .) = 0

$E(z_t \mid z_{t-1}, z_{t-2},...) = 0$

而且还表现出“自己的”条件同方差

E (z_{t}^{2} ∣ z_{t - 1}, z_{t - 2}, . . .) = σ^{2} > 0

$E(z^2_t \mid z_{t-1}, z_{t-2},...) = \sigma^2 >0$

在这些条件下，Ljung-Box 统计量（是原始Box-Pierce 统计量的有限样本校正变体）具有渐近卡方分布，并且其使用具有渐近正当性。 $Q$ $Q$

现在假设我们已经指定了一个自回归模型（除了滞后因变量外，它可能还包括独立回归）

y_{t} = x_{t}^{'} β + ϕ (L) y_{t} + u_{t}

$y_t = \mathbf x_t'\beta + \phi(L)y_t + u_t$

其中是在滞后算一个多项式，我们通过使用估计的残差要测试序列相关。所以在这里。 $\phi(L)$ $z_t \equiv \hat u_t$

Hayashi证明，为了使基于残差的样本自相关的Ljung-Box 统计量在无自相关的零假设下具有渐近卡方分布，必须是所有回归变量都是“严格外生的” “在以下意义上的误差项： $Q$

E (x_{t} \cdot u_{s}) = 0, E (y_{t} \cdot u_{s}) = 0 \forall t, s

$E(\mathbf x_t\cdot u_s) = 0 ,\;\; E(y_t\cdot u_s)=0 \;\;\forall t,s$

$t,s$ $s= t-1$

E [y_{t} u_{t - 1}] = E [(x_{t}^{'} β + ϕ (L) y_{t} + u_{t}) u_{t - 1}] =

$E[y_t u_{t-1}] = E[(\mathbf x_t'\beta + \phi(L)y_t + u_t)u_{t-1}] =$

E [x_{t}^{'} β \cdot u_{t - 1}] + E [ϕ (L) y_{t} \cdot u_{t - 1}] + E [u_{t} \cdot u_{t - 1}] \neq 0

$E[\mathbf x_t'\beta \cdot u_{t-1}]+ E[\phi(L)y_t \cdot u_{t-1}]+E[u_t \cdot u_{t-1}] \neq 0$

$X$ $E[\phi(L)y_t \cdot u_{t-1}]$

$Q$

现在假设满足了比严格的外生条件更弱的条件，即

E (u_{t} ∣ x_{t}, x_{t - 1}, . . ., ϕ (L) y_{t}, u_{t - 1}, u_{t - 2}, . . .) = 0

$E(u_t \mid \mathbf x_t, \mathbf x_{t-1},...,\phi(L)y_t, u_{t-1}, u_{t-2},...) = 0$

$X$

$\{\hat u_t\}$ $R^2$

在我们所谓的“ Breusch-Godfrey序列相关性检验”中使用了该统计信息。

这样看来，当回归变量包含滞后因变量时（在所有自回归模型中也是如此），应该放弃 Ljung-Box检验，而采用Breusch-Godfrey LM检验。，不是因为“效果较差”，而是因为它不具有渐近性。令人印象深刻的结果，尤其是从前者的普遍存在和应用来看。

$x$

— 阿莱科斯·帕帕多普洛斯
source

非常令人印象深刻，Alecos！很好的解释！非常感谢！（我希望最终会有更多的人阅读您的答案，并会从他们的工作或学习中受益。）

— 理查德·哈迪

+1非常有趣。我最初的猜测是，在AR模型中，BG测试的分布可能会失真，但是正如您所解释的和模拟练习所建议的那样，LB测试是受影响最严重的一种。

— javlacalle 2015年

x_{t}

$x_t$

1

@Aksakal，另外，部分问题可能是焦点在这里和那里跳跃了一点。我们应该将以下问题分开：（1）哪个测试更好，（2）哪个测试在哪个假设下工作，重要的是（3）哪个测试在哪个模型下工作（由于模型假设不同）。对于从业者来说，后者也许是最有用的问题。例如，由于Alecos已显示，我不会将LB用于ARMA模型的残差。您是否认为LB仍然可以用于ARMA模型的残差（现在这也是另一个线程中的核心问题）？

— 理查德·哈迪

1

@Alexis这是一个几乎让人难以接受的评论。谢谢。

— Alecos Papadopoulos

12

推测

我不知道有任何研究比较这些测试。我怀疑Ljung-Box检验在时间序列模型（如ARIMA模型）的上下文中更合适，在该模型中，解释变量是因变量的滞后。Breusch-Godfrey检验可能更适合于满足经典假设（特别是外生回归变量）的一般回归模型。

我的猜测是，解释变量不是外生的，因此可能会影响Breusch-Godfrey检验的分布（其依赖于普通最小二乘拟合得出的残差）。

我做了一个小型的模拟练习来验证这一点，结果表明相反：在测试自回归模型的残差中的自相关时，Breusch-Godfrey检验的性能优于Ljung-Box检验。下面给出了用于重现或修改该练习的详细信息和R代码。

小型模拟练习

Ljung-Box测试的典型应用是测试拟合ARIMA模型的残差中的序列相关性。在这里，我从AR（3）模型生成数据并拟合AR（3）模型。

残差满足无自相关的零假设，因此，我们期望均匀分布的p值。在接近所选显着性水平（例如5％）的案例中，应拒绝零假设。

Ljung-Box测试：

## Ljung-Box test
n <- 200 # number of observations
niter <- 5000 # number of iterations
LB.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  resid <- residuals(arima(x, order=c(3,0,0)))
  # Store p-value of the Ljung-Box for different lag orders
  LB.pvals[i,1] <- Box.test(resid, lag=1, type="Ljung-Box")$p.value
  LB.pvals[i,2] <- Box.test(resid, lag=2, type="Ljung-Box")$p.value
  LB.pvals[i,3] <- Box.test(resid, lag=3, type="Ljung-Box")$p.value
  LB.pvals[i,4] <- Box.test(resid, lag=4, type="Ljung-Box", fitdf=3)$p.value
}
sum(LB.pvals[,1] < 0.05)/niter
# [1] 0
sum(LB.pvals[,2] < 0.05)/niter
# [1] 0
sum(LB.pvals[,3] < 0.05)/niter
# [1] 0
sum(LB.pvals[,4] < 0.05)/niter
# [1] 0.0644
par(mfrow=c(2,2))
hist(LB.pvals[,1]); hist(LB.pvals[,2]); hist(LB.pvals[,3]); hist(LB.pvals[,4])

Ljung-Box测试p值

结果表明，零假设在极少数情况下被拒绝。对于5％的水平，拒绝率远低于5％。p值的分布显示出对不拒绝null的偏见。

编辑在fitdf=3所有情况下都应设置原则上。这将说明在拟合AR（3）模型以获得残差之后失去的自由度。但是，对于小于4阶的滞后，这将导致负或零自由度，从而使该测试不适用。根据文档?stats::Box.test：这些测试有时应用于ARMA（p，q）拟合的残差，在这种情况下，参考文献建议通过设置获得对零假设分布的更好近似值fitdf = p+q，当然前提是lag > fitdf。

布劳奇-戈弗雷测试：

## Breusch-Godfrey test
require("lmtest")
n <- 200 # number of observations
niter <- 5000 # number of iterations
BG.pvals <- matrix(nrow=niter, ncol=4)
set.seed(123)
for (i in seq_len(niter))
{
  # Generate data from an AR(3) model and store the residuals
  x <- arima.sim(n, model=list(ar=c(0.6, -0.5, 0.4)))
  # create explanatory variables, lags of the dependent variable
  Mlags <- cbind(
    filter(x, c(0,1), method= "conv", sides=1),
    filter(x, c(0,0,1), method= "conv", sides=1),
    filter(x, c(0,0,0,1), method= "conv", sides=1))
  colnames(Mlags) <- paste("lag", seq_len(ncol(Mlags)))
  # store p-value of the Breusch-Godfrey test
  BG.pvals[i,1] <- bgtest(x ~ 1+Mlags, order=1, type="F", fill=NA)$p.value
  BG.pvals[i,2] <- bgtest(x ~ 1+Mlags, order=2, type="F", fill=NA)$p.value
  BG.pvals[i,3] <- bgtest(x ~ 1+Mlags, order=3, type="F", fill=NA)$p.value
  BG.pvals[i,4] <- bgtest(x ~ 1+Mlags, order=4, type="F", fill=NA)$p.value
}
sum(BG.pvals[,1] < 0.05)/niter
# [1] 0.0476
sum(BG.pvals[,2] < 0.05)/niter
# [1] 0.0438
sum(BG.pvals[,3] < 0.05)/niter
# [1] 0.047
sum(BG.pvals[,4] < 0.05)/niter
# [1] 0.0468
par(mfrow=c(2,2))
hist(BG.pvals[,1]); hist(BG.pvals[,2]); hist(BG.pvals[,3]); hist(BG.pvals[,4])

Breusch-Godfrey检验p值

Breusch-Godfrey检验的结果看起来更明智。p值均匀分布，拒绝率更接近显着性水平（如原假设下所期望的）。

— Javlacalle
source

1

LB.pvals[i,j]

j \in {1, 2, 3}

$j \in \{1,2,3\}$

j ⩽ 3

$j \leqslant 3$ fitdf=3

j \in {1, 2, 3}

$j \in \{1,2,3\}$

另外，关于您在第一段中所说的话：您是否可以在此基础上扩大一点？我认为那里的声明很重要，但缺少细节。我可能要求太多-为了“消化”我的东西-但如果您觉得这不太困难，我将不胜感激。

— 理查德·哈迪2015年

1

我的直觉是这个问题与以下问题有关：线性独立的随机变量的总和作为。具有线性限制的线性相关随机变量的总和分布为。当，定义不明确。我怀疑将Ljung-Box检验用于AR（）模型的模型残差时会发生这种情况。

n

$n$

χ^{2} (1)

$\chi^2 (1)$

χ^{2} (n)

$\chi^2 (n)$

n

$n$

χ^{2} (1)

$\chi^2 (1)$

k

$k$

χ^{2} (n - k)

$\chi^2 (n-k)$

k ⩾ n

$k \geqslant n$

k

$k$

— 理查德·哈迪

1

残差不是独立的而是线性限制的。首先，它们求和为零；第二，对于前滞后，它们的自相关为零。我刚刚写的内容可能并不完全正确，但想法就在那里。另外，我知道不应该申请Ljung-Box测试，我只是不记得源代码。也许我在教授的演讲中听到了。Ruey S. Tsay，或在他的演讲笔记中阅读。但是我真的不记得了……

k

$k$ lag<fitdf

— 理查德·哈迪

1

简而言之，当您说阶跃滞后小于4时，这将导致负或零自由度，从而使测试不适用，我认为您应该得出不同的结论：不要将测试用于这些滞后。如果继续进行fitdf=0替换，fitdf=3可能会欺骗自己。

— 理查德·哈迪

2

Greene（《计量经济学分析》，第7版，第963页，第20.7.2节）：

“ Godfrey-Breusch [GB]和Box-Pierce [BP]检验之间的本质区别在于，前者使用偏相关（控制和其他变量），后者使用简单相关。在原假设下，因此没有自相关，并且在任何情况下和之间没有相关性，因此这两个测试是渐近等效的；另一方面，由于它不以为条件，因此[BP]测试的功能不如[GB]如直觉所暗示的，检验原假设是否为假。” $X$ $e_t$ $x_t$ $e_s$ $x_t$

（我知道这个问题是关于Ljung-Box的，上面提到的是Box-Pierce，但是前者是后者的简单改进，因此GB和BP之间的任何比较也将适用于GB和LB之间的比较。）

正如其他答案已经以更严格的方式进行了解释一样，Greene还建议使用Ljung-Box与Godfrey-Breusch相比没有任何收获（也许有一定的计算效率），但可能会损失很多（测试的有效性）。

— 坎达米尔
source

0

似乎Box-Pierce和Ljung-Box检验主要是单变量检验，但是在检验时间序列回归的残差（MA或AR过程）中是否保留线性结构时，Breusch-Godfrey检验背后存在一些假设。

这是讨论的链接：

http://www.stata.com/meeting/new-orleans13/abstracts/materials/nola13-baum.pdf

— 分析员
source

我认为，由于语法原因，我不太理解句子的含义。你能改一下吗？

— 理查德·哈迪

0

测试之间的主要区别如下：

Breusch-Godfrey检验是拉格朗日乘数检验，是从（正确指定的）似然函数（因此从第一原理）导出的。
Ljung-Box检验基于固定过程的残差的第二阶矩（因此具有比较特殊的性质）。

Breusch-Godfrey检验与拉格朗日乘数检验一样，渐近等效于一致最有效的检验。尽管如此，对于省略的回归变量的替代假设（无论它们是否为滞后变量）仅在渐近性上是最有力的。Ljung-Box检验的强项可能是其针对各种替代假设的能力。

— bmbb
source