样本协方差矩阵是否总是对称且正定的？

33

计算样本的协方差矩阵时，是否可以保证得到一个对称且正定的矩阵？

目前，我的问题有一个4600个观测向量和24个维度的样本。

sampling covariance

— 莫滕
source

为了采样协方差矩阵，我使用以下公式：其中是样本数，是样本均值。

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— Morten 2013年

4

通常将其称为“计算样本协方差矩阵”，或“估计协方差矩阵”，而不是“对协方差矩阵进行采样”。

— Glen_b-恢复莫妮卡

1

协方差矩阵不确定的常见情况是24个“维度”记录的混合物成分总计为100％。

— ub

41

对于向量的样本，其中，样本均值向量为和样本协方差矩阵为对于非零向量，我们有因此，始终为正半定数。 $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1个}{ñ} \sum_{一世 = 1个}^{ñ} {（ （ X_{一世} - \bar{X} ）^{⊤} ÿ ）}^{2} \geq 0 。 （ * ）

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

Whuber在下面的评论中给出了为正定的附加条件。如下。 $Q$

定义，对于。对于任何非零，当且仅当，为零，对于每个。假设集合跨过。然后，存在实数，使得。但是然后我们有，得出，这是一个矛盾。因此，如果的跨度，则 $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ 是肯定的。此条件等效于。 $\mathrm{rank} [z_1 \dots z_n] = k$

— 禅
source

2

我喜欢这种方法，但建议您注意：不一定是肯定的。我对康斯坦丁（Konstantin）回答的评论中描述了达到上述条件的（必要和充分）条件。

Q

$Q$

— Whuber

1

由于的秩小于或等于，因此可以将条件简化为等于k的秩。

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— 报价不能拒绝

13

一个正确的协方差矩阵总是对称正定* 半 *明确。

两个变量之间的协方差定义为。 $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

如果您切换和的位置，则该方程式不会改变。因此，矩阵必须是对称的。 $x$ $y$

它也必须是正* 半 *定的，因为：

您总是可以以协方差矩阵变为对角线的方式找到变量的变换。在对角线上，您发现变换变量的方差为零或正，很容易看出这使变换矩阵为正半定。但是，由于定义的定义是变换不变的，因此，在任何选定的坐标系中，协方差矩阵都是正半确定的。

当您使用上述公式估算协方差矩阵时（即，在计算样本协方差时），它将无效。仍然是对称的。它也必须是正半定值（我认为），因为对于每个样本，赋予每个样本点相等概率的pdf具有样本协方差作为其协方差（请验证此点），因此上述所有内容仍然适用。

— 康斯坦丁·舒伯特
source

1

PS：我开始认为这不是您的问题……

— Konstantin Schubert

但是，如果您想知道采样算法是否可以保证，则必须说明采样方式。

— 康斯坦丁·舒伯特

1

Morten，对称性直接来自公式。为了显示半定性，您需要为任何向量建立。但是倍的总和（其中，从那里是的总和 =，其是向量的平方长度。因为和平方和永远不能为负，，QED。这也表明正是针对这些向量

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$ 与所有正交（即，对于所有，）。当跨度时，则且是确定的。

v_{i}

$v_i$

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— ub

1

@Morten如果您从几何上理解矩阵乘法，则变换不变性非常清晰。将您的向量视为箭头。描述向量的数字随坐标系而变化，但是向量的方向和长度却没有变化。现在，与矩阵相乘意味着您可以更改箭头的长度和方向，但是在每个坐标系中，效果在几何上都是相同的。标量积也是如此：它是几何定义的，而几何是不变变换的。因此，您的方程在所有系统中都有相同的结果。

— 康斯坦丁·舒伯特

1

@Morten当您考虑坐标时，参数如下所示：当是您的变换矩阵时，则：其中是变换后的坐标矢量，，因此，当您在其中变换每个元素时方程，得到，等于，并且由于A是正交的，是单位矩阵，我们再次得到，这意味着变换后的方程和未变换的方程具有相同的标量，因此它们要么均为零，要么都不为零。

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— 康斯坦丁·舒伯特2013年

0

方差-协方差矩阵始终是对称的，因为可以从实际方程式中证明该矩阵的每个项。

同样，方差-协方差矩阵始终是大小为n的平方矩阵，其中n是实验中的变量数。

对称矩阵的特征向量总是正交的。

使用PCA，您可以确定矩阵的特征值，以查看是否可以减少实验中使用的变量数量。

— GEN
source

1

Welcome Gen.请注意，您的用户名，identicon和指向用户页面的链接会自动添加到您发布的每条帖子中，因此无需签名。

— Antoine Vernet

3

通过解决正定性的问题，可以改善此答案

— Silverfish

这并不能真正回答这个问题：它只是可能不相关的不受支持的断言的集合。您能否以某种方式重新构造它，以显示问题的答案并解释原因？

— ub

0

我将在Zen的一个很好的论证中添加以下内容，这解释了为什么我们经常说如果，协方差矩阵是正定的。 $n-1\geq k$

如果是连续概率分布的随机样本，则几乎可以肯定地（在概率论的意义上）线性独立。现在，不是线性独立的，因为，而是因为是线性独立的，因此为span。如果，它们也跨越。 $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\sum_{i=1}^n z_i = 0$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

总之，如果是连续概率分布和的随机样本，则协方差矩阵是正定的。 $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
source

0

对于像我这样的非数学背景的人来说，他们并不能很快掌握抽象的数学公式，这是一个针对最受争议的答案的出色例子。协方差矩阵也可以以其他方式导出。

— Parikshit Bhinde
source

您能解释一下该电子表格如何显示协方差矩阵的正定性吗？

— ub

它不是。我很难想象其符号形式的协方差矩阵。因此，我为自己创建了此工作表，并认为它可以帮助某人。

— Parikshit Bhinde

然后，请对其进行编辑以包含问题的答案。

— ub

完成:)感谢您的建议。

— Parikshit Bhinde

问题是“那么是否可以保证得到一个对称且正定的矩阵？” 我无法感知您帖子中解决此问题的任何元素，因为（1）它从未标识出协方差矩阵；（2）它没有证明任何事物的正定性。

— ub