AR（）模型的无偏估计

考虑一个AR（）模型（为简单起见，假设均值为零）： $p$

x_{t} = φ_{1} x_{t - 1} + \dots + φ_{p} x_{t - p} + ε_{t}

$x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t$

如最近的线程所述，已知的OLS估计量（等于条件最大似然估计量是有偏差的。 $\mathbf{\varphi} := (\varphi_1,\dotsc,\varphi_p)$

（奇怪的是，我找不到汉密尔顿的《时间序列分析》或其他一些时间序列教科书中提到的偏见。但是，可以在各种讲义和学术文章中找到它，例如this。）

我无法找出AR（）的确切最大似然估计是否有偏差；因此，我的第一个问题。 $p$

问题1：是确切的 AR（最大似然估计）模型的自回归参数偏见吗？（让我们假设AR（）过程是平稳的。否则，估计量甚至是不一致的，因为它被限制在平稳区域内；请参见Hamilton的“时间序列分析”，第123页。） $p$ $\varphi_1,\dotsc,\varphi_p$ $p$

也，

问题2：是否有任何合理简单的无偏估计量？

— 理查德·哈迪
source

我很确定AR（p）中的ML估计量是有偏差的（平稳性边界的存在表明它将有偏差），但是我现在没有证据（大多数ML估计量在任何情况下都是有偏差的）的情况，但我们还有更多要做的事情）。[个人而言，至少在一般情况下，我并不认为无偏见是一个特别有用的属性，这就像是关于统计学家去猎鸭的老笑话。Ceteris paribus当然有总比没有好，但实际上，ceteris绝不是paribus。这是一个重要的概念。]

— Glen_b-恢复莫妮卡2015年

我认为在处理小样本时保持公正是可取的，而我刚刚面对这样的情况。以我的理解，在这种情况下，只要可以量化效率，无偏比效率更可取。

— 理查德·哈迪

在偏差可能不小的地方（如小样本），我真的倾向于寻找更像是最小均方误差的东西。关心您的估计平均而言可能是错误的，而实际上您的替代估计可能存在较大差异，那又有什么意义呢？例如，如果我对此样本大小的偏倚为0.1，这可能令人担忧地很大，所以您会说“让我们使用无偏估计量” ...但是，如果标准误差足够大，以至于我的估计值通常离正确的价格...我过得更好吗？... ctd

ϕ

$\phi$

— Glen_b-恢复莫妮卡

ctd。……我不这么认为（至少不是出于我的通常目的，而且我几乎从未见过在实际情况下无偏见的好理由，因为像MMSE这样的东西不会更好）。我关心的是这个估计有多错误-我可能偏离真实价值有多远-而不是如果我在这种情况下再承受一百万次，则平均变化幅度是多少。找出偏差的主要实际价值是看是否可以在不太大影响方差的情况下轻松降低偏差。

— Glen_b-恢复莫妮卡

好的论点，谢谢。我会考虑更多。

— 理查德·哈迪

当然，这不是对问题1的严格回答，但是由于您通常是问这个问题，因此反例的证据已经表明答案是否定的。

因此，这是一项使用精确的ML估计进行的小模拟研究arima0，认为至少有一种情况存在偏差：

reps <- 10000
n <- 30
true.ar1.coef <- 0.9

ar1.coefs <- rep(NA, reps)
for (i in 1:reps){
  y <- arima.sim(list(ar=true.ar1.coef), n)
  ar1.coefs[i] <- arima0(y, order=c(1,0,0), include.mean = F)$coef
}
mean(ar1.coefs) - true.ar1.coef

— 克里斯多夫·汉克
source

-1

我碰巧正在读与您正在阅读的同一本书，并且找到了两个问题的答案。

自回归beta的偏差在第215页的书中提到。

该书还在第223页中提到了一种纠正偏差的方法。继续进行的方法是通过迭代的两步方法。

希望这可以帮助。

— 北方的居民
source

根据站点指南，答案不应仅包含对其他内容的引用。

— 亚历克西斯（Alexis）