协方差矩阵的逆对数据说什么？（直觉上）

我对的性质感到好奇。任何人都可以说出一些直觉的信息“对数据有何看法？” $\Sigma^{-1}$ $\Sigma^{-1}$

编辑：

感谢您的回复

在学习了一些很棒的课程之后，我想补充一点：

它是信息的度量，即是沿方向的信息量。 $x^T\Sigma^{-1}x$ $x$
对偶性：由于是正定的，也是正定的，因此它们是点积范数，更确切地说，它们是彼此的偶范数，因此我们可以针对正则化最小二乘问题导出Fenchel对偶，并最大化wrt对偶问题。我们可以根据它们的条件选择它们之一。 $\Sigma$ $\Sigma^{-1}$
希尔伯特空间：和列（和行）跨越相同的空间。因此，使用或表示之间没有任何优势（当这些矩阵之一处于不适状态时） $\Sigma^{-1}$ $\Sigma$ $\Sigma^{-1}$ $\Sigma$
贝叶斯统计：范数在贝叶斯统计中起重要作用。也就是说，它确定了我们之前有多少信息，例如，当先验密度的协方差像我们将获得非信息性信息（或者可能是Jeffreys先前的信息） $\Sigma^{-1}$ $\|\Sigma^{-1}\|\rightarrow 0$
惯常统计：使用Cramér-Rao界线，它与Fisher信息密切相关。实际上，费舍尔信息矩阵（对数似然梯度自身的外积）是Cramér–Rao约束的，即 $\Sigma^{-1}\preceq \mathcal{F}$ （正半定锥，即浓度）椭圆形）。因此，当 $\Sigma^{-1}=\mathcal{F}$ ，最大似然估计器是有效的，即，数据中存在最大信息，因此频频机制是最佳的。用简单的话来说，对于某些似然函数（请注意，似然函数的形式完全取决于可能生成数据的概率模型，即生成模型），最大似然是有效且一致的估计器，其规则类似于老板。（对不起，杀了它）

— 艾莉亚
source

我认为PCA会选取具有较大特征值而不是较小特征值的特征向量。

— wdg 2014年

（3）是不正确的，因为它是无异于断言的列是那些的（最多的置换），其只为单位矩阵是真实的。

Σ^{- 1}

$\Sigma^{-1}$

Σ

$\Sigma$

— ub

Answers:

就像是离散度的度量标准一样。 $\Sigma$

更精心，是的变量是如何分散围绕平均值（对角元素），并与其他变量（非对角）元件如何共同变化的量度。它们离平均值的距离越远，它们与其他变量的共变（绝对值）就越多，则它们趋向于“移动”（沿着相同或相反的方向，取决于方向）的趋势就越强。协方差的符号）。 $\Sigma$

类似地，用来衡量变量在均值（对角元素）周围的紧密程度以及它们与其他变量（对角线元素）不变化的程度。因此，对角元素越高，变量围绕均值聚类越紧密。非对角线元素的解释更加细微，我为您提供了该解释的其他答案。 $\Sigma^{-1}$

— 支柱
source

最简单的非平凡示例为您最后一个关于中非对角元素的陈述提供了有力的反例。较大的非对角线值对应于相关系数更多极端值这与您似乎在说的相反。

Σ^{- 1}

$\Sigma^{-1}$

Σ^{- 1} = (\begin{array}{cc} \frac{1}{1 - ρ^{2}} & - \frac{ρ}{1 - ρ^{2}} \\ - \frac{ρ}{1 - ρ^{2}} & \frac{1}{1 - ρ^{2}} \end{array}) .

$\Sigma^{-1}=\left( \begin{array}{cc} \frac{1}{1-\rho ^2} & -\frac{\rho }{1-\rho ^2} \\ -\frac{\rho }{1-\rho ^2} & \frac{1}{1-\rho ^2} \\ \end{array} \right).$

ρ,

$\rho,$

— ub

@whuber对。我应该摆脱最后一句中的“绝对”一词。谢谢

— 道具

谢谢，但这仍然不能解决问题：您断言的逆对角元素和协变量之间的关系不存在。

— Whuber

@whuber我认为是的。在您的示例中，非对角线元素为负。因此，随着增加，对角线元素减少。您可以通过以下注意事项进行检查：，非对角元素为；当接近，非对角元素接近并且非对角元素相对于为负。

ρ

$\rho$

ρ = 0

$\rho = 0$

0

$0$

ρ

$\rho$

1

$1$

- \infty

$-\infty$

ρ

$\rho$

— 2013年

我的非对角元素为正时

ρ < 0.

$\rho\lt 0.$

— whuber

用上标来表示逆的元素，是变量的分量的方差，它与其他变量不相关，而是变量和的偏相关性，控制其他变量。 $1/\sigma^{ii}$ $i$ $p-1$ $-\sigma^{ij}/\sqrt{\sigma^{ii}\sigma^{jj}}$ $i$ $j$ $p-2$

— 雷·库普曼
source