来自汉密尔顿的ARMA（p，q）的状态空间表示

$r = \max(p,q+1)$

$$\begin{aligned} y_t -\mu &= \phi_1(y_{t-1} -\mu) + \phi_2(y_{t-2} -\mu) + ... + \phi_3(y_{t-3} -\mu) \\ &+ \epsilon_t + \theta_1\epsilon_{t-1} + ... + \theta_{r-1}\epsilon_{t-r+1}. \end{aligned}$$

$$\xi_{t+1} = \begin{bmatrix} \phi_1 & \phi_2 & \dots & \phi_{r-1} & \phi_r \\ 1 & 0 & \dots & 0 & 0 \\ \vdots & \vdots & \dots & 0 & 0 \\ 0 & 0 & \dots &1 &0 \end{bmatrix} \xi_t + \begin{bmatrix} \epsilon_{t+1} \\ 0\\\vdots \\ 0 \end{bmatrix}$$

观测方程为：

$$y_t = \mu + \begin{bmatrix} 1 & \theta_1 & \theta_2 & \dots & \theta_{r-1} \\ \end{bmatrix} \xi_t.$$

在这种情况下，我不知道是什么。因为在他的AR（p）表示中，它是，在他的MA（1）表示中是。$\xi_t$$\begin{bmatrix} y_{t} - \mu \\ y_{t-1} - \mu\\\vdots \\ y_{t-p+1} - \mu \end{bmatrix}$$\begin{bmatrix} \epsilon_{t} \\ \epsilon_{t-1} \end{bmatrix}$

有人可以更好地向我解释一下吗？

汉密尔顿（Hamilton）证明这是书中的正确表述，但是这种方法似乎有点违反直觉。因此，让我首先给出一个高层的答案，以激发他的建模选择，然后再详细说明他的推导。

动机：

从阅读第13章应该可以清楚地看到，有很多方法可以以状态空间形式编写动态模型。因此，我们应该问为什么汉密尔顿选择了这种特殊的表示。原因是这种表示使状态向量的维数保持较低。直观地，您会认为（或至少我会认为）ARMA（，）的状态向量至少应为维。毕竟，仅通过观察说，我们就无法推断。但他表明，我们可以以一种巧妙的方式定义状态空间表示形式，从而使状态向量的维数最大为$p$$q$$p+q$$y_{t-1}$$\epsilon_{t-1}$$r = \max\{p, q + 1 \}$。我猜，将状态维数保持在较低水平可能对计算实现很重要。事实证明，他的状态空间表示方式还可以很好地解释ARMA过程：未观察到的状态是AR（），而MA（）部分是由于测量误差而产生的。$p$$q$

派生：

现在进行推导。首先请注意，使用滞后运算符表示法，将ARMA（p，q）定义为： 其中我们让为，和为和我们省略因为是至少。因此，我们需要证明的是他的状态和观察方程式暗示着上面的方程式。让状态向量为 现在看一下状态方程。您可以检查方程至

$$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) =(1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\epsilon_t$$ $\phi_j = 0$$j>p$$\theta_j = 0$$j>q$$\theta_r$$r$$q+1$ $$\mathbf{\xi}_t = \{\xi_{1,t}, \xi_{2,t},\ldots,\xi_{r,t}\}^\top$$ $2$$r$只需将条目移至向前一个周期，并在状态向量处丢弃。因此，定义的第一个方程是相关的。写出来： 因为的第二个元素是的第一个元素，而的第三个元素是的第一个元素$\xi_{i,t}$$\xi_{i-1,t+1}$$\xi_{r,t}$$t+1$$\xi_{i,t+1}$ $$\xi_{1,t+1} = \phi_1 \xi_{1,t} + \phi_2 \xi_{2,t} + \ldots + \phi_r \xi_{r,t} + \epsilon_{t+1}$$ $\mathbf{\xi_{t}}$$\mathbf{\xi_{t-1}}$$\mathbf{\xi_{t}}$$\mathbf{\xi_{t-2}}$依此类推，我们可以使用滞后算符表示法并将滞后多项式移到左侧（H中的方程13.1.24）来重写它： 因此，隐藏状态遵循自回归过程。同样，观测方程为 或 到目前为止，这看起来 ARMA，但是现在不错的部分：将最后一个方程式乘以：（ $$(1-\phi_1L - \ldots - \phi_rL^r)\xi_{1,t+1} = \epsilon_{t+1}$$ $$y_t = \mu + \xi_{1,t} + \theta_1\xi_{2,t} + \ldots + \theta_{r-1}\xi_{r-1,t}$$ $$y_t - \mu = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\xi_{1,t}$$ $(1-\phi_1L - \ldots - \phi_rL^r)$ $$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})(1-\phi_1L - \ldots - \phi_rL^r)y_t$$ 但是从状态方程（滞后一个周期），我们得到！因此上述等效于 ，这正是我们需要显示的内容！因此，状态观察系统正确表示了ARMA（p，q）。我实际上只是在解释汉密尔顿，但是我希望无论如何这都是有用的。$(1-\phi_1L - \ldots - \phi_rL^r)\xi_{1,t} = \epsilon_{t}$ $$(1-\phi_1L - \ldots - \phi_rL^r)(y_t - \mu) = (1 + \theta_1L + \ldots + \theta_{r-1}L^{r-1})\epsilon_{t}$$

这和上面的一样，但是我想我会提供一个简短，简洁的答案。同样，这是因果ARMA（，）过程的汉密尔顿表示，其中。这个数将是状态向量的维数，并且需要使它的行数状态与观察矩阵的列数匹配。这意味着每当索引太大时，我们还必须将系数设置为零。$p$$q$$r=\max(p,q+1)$$r$$(\xi_t, \xi_{t-1},\ldots, \xi_{t-r+1})'$

1. 观察方程

$$\begin{align*} &\phi(B)(y_t - \mu) = \theta(B)\epsilon_t \\ \iff &(y_t - \mu) = \phi^{-1}(B)\theta(B)\epsilon_t \tag{causality}\\ \iff &y_t = \mu + \phi^{-1}(B)\theta(B)\epsilon_t \\ \iff &y_t = \mu + \theta(B)\phi^{-1}(B)\epsilon_t \\ \iff &y_t = \mu + \theta(B)\xi_t \tag{letting $\xi_t = \phi^{-1}(B)\epsilon_t$}\\ \iff &y_t = \mu + \left[\begin{array}{ccccc}1 & \theta_1 & \theta_2 & \ldots & \theta_{r-1} \end{array}\right] \underbrace{\left[\begin{array}{c} \xi_t \\ \xi_{t-1} \\ \vdots \\ \xi_{t-r+1} \end{array}\right]}_{\text{the state vector}} + 0\tag{this is where we need $r$}. \end{align*}$$

2. 状态方程

$$\begin{align*} &\xi_t = \phi^{-1}(B)\epsilon_t \\ \iff &\phi(B)\xi_t = \epsilon_t \\ \iff &(1 - \phi_1 B - \cdots - \phi_rB^r) \xi_t = \epsilon_t \\ \iff &\xi_t = \phi_1 \xi_{t-1} + \cdots + \phi_r \xi_{t-r} + \epsilon_t \\ \iff & \left[\begin{array}{c} \xi_t \\ \xi_{t-1} \\ \xi_{t-2} \\ \vdots \\ \xi_{t-r+1} \end{array}\right] = \left[ \begin{array}{ccccc} \phi_1 & \phi_2 & \phi_3 & \cdots & \phi_r \\ 1 & 0 & 0 & \cdots & 0 \\ 0 & 1 & 0 & \cdots & 0 \\ \vdots & \vdots & \ddots & \cdots & 0 \\ 0 & 0 &\cdots & 1 & 0 \end{array}\right] \left[ \begin{array}{c} \xi_{t-1} \\ \xi_{t-2} \\ \vdots \\ \xi_{t-r} \end{array}\right] + \left[ \begin{array}{c} \epsilon_t \\ 0 \\ \vdots \\ 0 \end{array}\right]. \end{align*}$$