两个协方差矩阵之间的相似性或距离的度量

28

两个对称协方差矩阵（都具有相同的维数）之间是否有相似度或距离的度量？

我在这里考虑的是两个概率分布的KL散度的类比或矢量之间的欧几里得距离，除了适用于矩阵。我想会有很多相似性度量。

理想情况下，我还要检验两个协方差矩阵相同的零假设。

— 拉姆·阿卢瓦利亚
source

3

这个问题的答案：quant.stackexchange.com/q/121/108可能有用。

— shabbychef 2011年

2

链接上的出色问题和解答-谢谢-是的，这就是我要去的地方:)

— Ram Ahluwalia

2

相关问题：评估方差-协方差矩阵同质性的诊断图。相关文章：比较协方差矩阵的简单过程。

— 变形虫说恢复莫妮卡

21

您可以使用任何范 $\| A-B \|_p$ （请参阅Wikipedia上的各种范本；请注意，平方距离之和的平方根为，被称为Frobenius范数，并且不同于范数，这是的最大特征值的平方根，虽然当然，他们会生成相同的拓扑）。用相同的装置（称零）和两个特定的协方差矩阵的两个正常分布之间的KL距离也可在维基百科为 $\sqrt{\sum_{i,j} (a_{ij}-b_{ij})^2}$ $L_2$ $(A-B)^2$ 。 $\frac12 [ \mbox{tr} (A^{-1}B) - \mbox{ln}( |B|/|A| ) ]$

编辑：如果矩阵之一是模型隐含矩阵，而另一个是样本协方差矩阵，那么您当然可以在两者之间形成似然比检验。我个人最喜欢的此类简单结构测试集在Rencher（2002）多元分析方法中给出。协方差结构建模涵盖了更高级的案例，在此合理的起点是Bollen（1989）带有潜在变量的结构方程。

— 斯塔克
source

我有一个问题，

：如果置换不给出相同的值

和

（实际距离应该是对称的）。

1 / 2 (tr (A^{- 1} B) - \log (| B | / | A |))

$1/2(\verb+tr+(A^{-1}B)-\log(|B|/|A|))$

A

$A$

B

$B$

— 2011年

我对

有问题：它不是仿射等变的（如果旋转矩阵，则距离会发生变化！）。此外，您应该以某种方式缩放矩阵（它们可能以非常不同的单位进行度量），而且，很自然地要求两个协方差矩阵之间的距离必须与相应的相关矩阵之间的距离相同：所以我建议

。

(A - B)^{2}

$(A-B)^2$

(A det (A)^{- 1 / p} - B det (B)^{- 1 / p})^{2}

$(A\det(A)^{-1/p}-B\det(B)^{-1/p})^2$

— user603 2011年

2

首先，吉隆坡不是一个真正的距离，这是众所周知的事实。其次，如果矩阵以不同单位度量，则它们不能相等。

— StasK，2011年

KL距离是否与似然比相似或相关？

— hashmuke

7

表示和的矩阵两个维度的。 $\varSigma_1$ $\varSigma_2$ $p$

COND号：，其中（）是最大的（最小的）的本征值，其中被定义为： $\log(\lambda_1)-\log(\lambda_p)$ $\lambda_1$ $\lambda_p$ $\varSigma^*$ $\varSigma^*$ $\varSigma^*:=\varSigma_1^{-1/2}\varSigma_2\varSigma_1^{-1/2}$

编辑：我编辑了两个建议中的第二个。我想我误解了这个问题。基于条件编号的建议在稳健的统计数据中经常用于评估拟合质量。我可以找到的一个古老来源是：

Yohai，VJ和Maronna，RA（1990）。稳健协方差的最大偏差。统计学中的通信–理论与方法，1925年至2933年。

我最初包括Det ratio度量：

$\log(\det(\varSigma^{**})/\sqrt{\det(\varSigma_2)*\det(\varSigma_1)})$ where $\varSigma^{**}=(\varSigma_1+\varSigma_2)/2$ .

which would be the Bhattacharyya distance between two Gaussian distributions having the same location vector. I must have originally read the question as pertaining to a setting where the two covariances were coming from samples from populations assumed to have equal means.

— user603
source

7

A measure introduced by Herdin (2005) Correlation Matrix Distance, a Meaningful Measure for Evaluation of Non-Stationary MIMO Channels is

d = 1 - \frac{tr (R_{1} \cdot R_{2})}{‖ R_{1} ‖ \cdot ‖ R_{2} ‖},

$d = 1 - \frac{\text{tr}(R_1 \cdot R_2)}{\|R_1\| \cdot \|R_2\|},$ where the norm is the Frobenius norm.

— davidc
source

+1. Thanks a lot for this answer, it was very helpful to me.

— amoeba says Reinstate Monica

1

This is one minus cosine similarity, right?

— Firebug

4

The covariance matrix distance is used for tracking objects in Computer Vision.

The currently used metric is described in the article: "A metric for covariance matrices", by Förstner and Moonen.

— Andres Romero
source