如何解释逆协方差或精度矩阵？

64

我想知道是否有人可以指出一些参考文献，这些参考文献讨论逆协方差矩阵（也称为浓度矩阵或精度矩阵）的元素的解释。

我可以访问Cox和Wermuth的Multivariate Dependencies，但是我正在寻找的是对逆矩阵中每个元素的解释。维基百科指出：“精度矩阵的元素具有偏相关和偏方差的解释”，这使我进入了此页面。有没有使用线性回归的解释吗？IE，是协方差还是几何？

interpretation covariance-matrix

— 荣·阮
source

4

您是否阅读了整个Wikipedia页面？对于正态分布，存在关于几何和条件独立性的部分。您可以在本书中找到更多内容。

— NRH

@NRH在部分相关页面中解释了几何形状，我什至不确定它与浓度矩阵之间的关系。该图形模型书是否对浓度矩阵的元素进行了解释？谢谢！

— Vinh Nguyen

请参阅下面的答案。

— NRH

2

另请参见为什么协方差矩阵的求逆会在随机变量之间产生部分相关性？

— 变形虫

34

\exp (- \frac{1}{2} x^{T} P x)

$\exp\left(-\frac{1}{2}x^T P x\right)$

P = Σ^{- 1}

$P = \Sigma^{-1}$

(x, y) \mapsto x^{T} P y

$(x,y) \mapsto x^T P y$

R^{p}

$\mathbb{R}^p$

P

$P$

$P$ $P$ $X_i$ $X_j$ $i,j$ $P$ $X_i$ $X_j$ 给定所有其他变量。这就是我在上面的评论中提到的史蒂芬斯书的全部内容。条件独立性和图形模型。它对正态分布有相当完整的处理，但是可能不那么容易遵循。

— NRH
source

1

- \frac{p_{i j}}{\sqrt{p_{i i} p_{j j}}}

${\bf\color{red} -} \frac{p_{ij}}{ \sqrt{p_{ii} p_{jj}}}$

1

@ Sh3ljohn，您完全正确。Wikipedia公式中缺少负号。

— NRH

第一个答案不是真正在谈论Fisher信息而不是精度矩阵吗？我的意思是，它们在真正的特殊/好高斯案例中是重合的，但它们通常并不重合。显然，这两个概念是相关的（Cramer-Rao下界，MLE的渐近分布等），但是将它们融合起来似乎没有帮助（特别是我来到这个问题中，寻找他关于如何区分Fisher信息和逆相关矩阵）。

— Chill2Macht

24

我喜欢这个概率图形模型来说明NRH的观点，即当且仅当 X在给定Z的条件下独立于Y时，部分相关为零，并假设所有涉及的变量都是多元高斯（该属性在一般情况下不成立）：

在此处输入图片说明

$y_i$

资料来源：第25分钟，David MacKay关于高斯过程基础的演讲。

— 弗兰克·德农库特
source

12

基于偏相关的解释可能在统计上最有用，因为它适用于所有多元分布。在多元正态分布的特殊情况下，零偏相关对应于条件独立性。

您可以通过使用Schur补码以协方差矩阵的项来获取浓度矩阵项的公式，从而得出这种解释。参见http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

— vqv
source

11

协方差矩阵可以表示所有变量之间的关系，而协方差为逆时，元素与邻居之间的关系为鞋（如维基百科所说的部分/成对关系）。

我在这里 24:10 借用以下示例，假设5个质量块连接在一起并用6个弹簧发声，协方差矩阵将包含所有质量块的相关性，如果一个质量对，其他质量也可以对。但是逆协方差矩阵适用于那些由相同弹簧（邻居）连接的质量的关系，它包含许多零，并且不一定是正数。

— 用户4581
source

1

视频中对此有何解释？一个小时的时间。谢谢！

— Vinh Nguyen

您是正确的，它在24:10时是正确的，我认为这是了解cov矩阵及其反函数的最佳示例

— user4581 2011年

5

Bar-Shalom和Fortmann（1988）在卡尔曼滤波的上下文中提到了逆协方差，如下所示：

... [T]这是逆协方差（或信息矩阵）的递归

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

$\mathbf{P}^{-1}\hat{\mathbf{x}}$

该书已在Google收录。

— 明亮的星星
source