如何测试交叉协方差矩阵是否为非零？

我的研究背景：

在吉布斯采样中，我们分别从和采样（感兴趣的变量）和，其中和是维随机向量。我们知道该过程通常分为两个阶段： $X$ $Y$ $P(X|Y)$ $P(Y|X)$ $X$ $Y$ $k$

老化期，我们丢弃所有样品。将样本表示为 $X_1\sim X_t$ 和 $Y_1\sim Y_t$ 。
“后烙印”时期，我们将样本平均 $\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i}$ 作为最终期望的结果。

但是，“预烧”序列 $X_{t+1}\sim X_{t+k}$ 中的样本并不是独立分布的。因此，如果我要检查最终结果的方差，它将变为

Var [\bar{X}] = Var [\sum_{i = 1}^{k} X_{t + i}] = \frac{1}{k^{2}} (\sum_{i = 1}^{k} Var [X_{t + i}] + \sum_{i = 1}^{k - 1} \sum_{j = i + 1}^{k} Cov [X_{t + i}, X_{t + j}])

$\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right)$

这里，术语 $\operatorname{Cov}[X_{t+i},X_{t+j}]$ 是一个 $k\times k$ 的互协方差矩阵适用于任何 $(i,j)$ 与 $i<j$ 。

例如，我有

X_{t + 1} = (1, 2, 1)^{'} X_{t + 2} = (1, 0, 2)^{'} X_{t + 3} = (1, 0, 0)^{'} X_{t + 4} = (5, 0, - 1)^{'}

$X_{t+1} = (1,2,1)'\\ X_{t+2} = (1,0,2)'\\ X_{t+3} = (1,0,0)'\\ X_{t+4} = (5,0,-1)'$

然后，我可以估计协方差矩阵与 $\operatorname{Cov}[X_{t+i}, X_{t+i+1}]$

\frac{1}{3} \sum_{i = 1}^{3} (X_{t + i} - μ_{t + i}) (X_{t + i + 1} - μ_{t + i + 1})^{'}

$\frac{1}{3}\sum_{i=1}^3 (X_{t+i}-\mu_{t+i})(X_{t+i+1}-\mu_{t+i+1})'$

现在，我对结果估计是否明显非零感兴趣，因此需要将其包括在方差估计中。 $\operatorname{Var}[\bar{X}]$

所以这是我的问题：

我们从采样。由于在变化，我认为和来自不同的分布，因此与。这句话正确吗？ $X_{t+i}$ $P(X_{t+i}|Y_{t+i})$ $Y_{t+i}$ $X_{t+i}$ $X_{t+i+1}$ $\operatorname{Cov}[X_{t+i},X_{t+j}]$ $\operatorname{Cov}[X_{t+i},X_{t+i}]$
假设我有足够的数据来估计（序列中的相邻样本），有没有办法测试协方差矩阵是否显着非零矩阵？从广义上讲，我对一个指标感兴趣，该指标可指导我一些有意义的互协方差矩阵，这些矩阵应包含在最终的方差估计中。 $\operatorname{Cov}[X_{t+i},X_{t+i+1}]$

— 汤姆·霍尔
source

实际上，现在看来这是一个很好的问题。我认为其他一些人会比我更能提供好的答案，所以我想在有资格的时候提倡（悬赏）。[简短的回答：1.这两个协方差是不同的。2.您不需要测试连续变量是否相关（在除最琐碎的情况之外的所有情况下，它们都是相关的；该算法通过生成因变量来工作）-测量相关性比测试它更有趣；] ...如果好答案不会出现我将把这些简短评论扩展为一个完整答案

— Glen_b -Reinstate Monica

看来您的问题比标题问题要广泛得多。特别是针对您的标题问题，有Bartlett的球形度检验，该检验可以检验样本协方差矩阵是否为对角线。您可能需要对其进行调整以适应交叉协方差方案（您的“协方差矩阵”实际上不是协方差矩阵，它是互协方差矩阵；它是X_t和X_ {的完整协方差矩阵的非对角线块） t + 1}）。CC至@Glen_b。

— 变形虫说莫妮卡（Monica）恢复

我要补充一点，协方差趋于或多或少地在几何上衰减（随着距离的增加，衰减会越来越大）；时间上相距较远的值往往具有非常低的相关性（不是零，而是很大程度上可忽略的），而彼此靠近的值有时可能会非常相关。

— Glen_b-恢复莫妮卡

@Tom 1.但是，对于平稳序列，在非常遥远的滞后（4个都不遥远！）的情况下，ACF会发生什么？ 2.您了解有关MCMC生成的值如何工作的知识，您不能说任意时间序列...它们是马尔可夫式的。您会注意到，我之前的评论并没有声称最接近的滞后必须显示几何衰减（例如，我没有说不可能在滞后4处看到比3高的相关性）。当您移开很远时，您仍然会（如果某些条件成立）在ACF中出现几何衰减的趋势。

$\quad$

— Glen_b-恢复莫妮卡

如果采样周期太短，则您对交叉协方差的估算就不那么准确，那么您可能只需要处理您对交叉协方差项的估算具有较大标准误差的事实。根据我目前的理解，我将更加坚定地重申我对测试相关性的反对意见。零相关性和非零相关性的假设检验无法在这里解决您的问题。

— Glen_b-恢复莫妮卡

我们从采样。由于在变化，我认为和来自不同的分布[...] $X_{t+i}$ $P(X_{t+i}|Y_{t+i})$ $Y_{t+i}$ $X_{t+i}$ $X_{t+i+1}$

您在这里混淆了有条件和无条件分布，另请参阅我的下一句话。以和，。但是，构建Gibbs采样器的全部目的是从和的平稳分布中采样。粗略地说，如果您将链条运行了足够长的时间，以使遵循平稳分布，则可以说表示的无条件分布也是不变的。换句话说，如 $Y_{t+i} = y_1$ $Y_{t+i+1} = y_2$ $P(X_{t+i}|Y_{t+i} = y_1) \neq P(X_{t+i+1}|Y_{t+i+1} = y_2)$ $X$ $Y$ $\{Y_t\}$

\begin{aligned} P (X_{t}) = \int_{Y} P (X_{t} | Y_{t}) d P (Y_{t}), \end{aligned}

$\begin{align} P(X_t) = \int_{\mathcal{Y}}P(X_t|Y_t)dP(Y_t), \end{align}$

X_{t}

$X_t$

t \to \infty

$t \to \infty$ ，我们收敛到平稳分布，，因为和会从（相同！）平稳分布渐近地得出。另一方面，和以前一样，一旦我们以和，则无论大小如何，它都不再成立。

P (X_{t + i} | Y_{t + i}) = P (X_{t + i + 1} | Y_{t + i + 1})

$P(X_{t+i}|Y_{t+i}) = P(X_{t+i+1}|Y_{t+i+1})$

Y_{t + i}

$Y_{t+i}$

Y_{t + i + 1}

$Y_{t+i+1}$

P (Y_{t})

$P(Y_t)$

Y_{t + i} = y_{1}

$Y_{t+i} = y_1$

Y_{t + i + 1} = y_{2}

$Y_{t+i+1} = y_2$

t

$t$

[...]因此与。这句话正确吗？ $\operatorname{Cov}[X_{t+i},X_{t+j}]$ $\operatorname{Cov}[X_{t+i},X_{t+i}]$

是的，这是正确的-即使，即和具有相同的平稳分布。我知道这可能会造成混淆，但请多多包涵。用定义。通过迭代替换，可以显示，并且由于法线的（无限）和仍然是正常的，因此它认为，因此。显然，和 $X_{t+1} \sim X_{t}$ $X_t$ $X_{t+1}$ $Y_t = 0.8\cdot Y_{t-1} + \varepsilon_t$ $\varepsilon_t \overset{iid}{\sim} N(0,1)$ $Y_t = \sum_{i=0}^t0.8^i \varepsilon_{t-i}$ $\text{Var}(Y_t) = \sum_{i=0}^t0.8^{2i} = \dfrac{1}{1-0.8^2}$ $Y_t \overset{iid}{\sim} N(0, \dfrac{1}{1-0.8^2})$ $Y_t$ $Y_{t+1}$ 仍然是相关的，但它们也将来自相同的分布（）。有类似情况。 $Y_{t+1} \sim Y_{t}$ $X_t$

假设我有足够的数据来估计（序列中的相邻样本），有没有办法测试协方差矩阵是否显着非零矩阵？从广义上讲，我对一个指标感兴趣，该指标可指导我一些有意义的互协方差矩阵，这些矩阵应包含在最终的方差估计中。 $\operatorname{Cov}[X_{t+i},X_{t+i+1}]$

好吧，如果您有无数的观察结果，那么它们最终将非常重要。显然，您实际上不能执行此操作，但是有一些方法可以在某些条件之后“切断”扩展，请在此处查看公认的出色答案。基本上，您定义一个内核，该内核衰减为，并将权重分配给您可以计算的第一个协方差矩阵。如果要以原则性的方式选择，则必须深入研究文献，但是我链接的文章为您提供了一些很好的参考资料来做到这一点。 $k(\cdot)$ $0$ $l_T$ $l_T$

— 耶利米斯K
source