为什么协方差矩阵的秩最多为？

如该问题所述，协方差矩阵的最大秩为，其中为样本大小，因此，如果协方差矩阵的维数等于样本大小，则该奇数为奇数。我不明白为什么我们要从协方差矩阵的最大秩中减去。$n-1$$n$$1$$n$

给定$n$数据点中的样本协方差矩阵的无偏估计量是其中是所有点的平均值。让我们将（\ x_i- \ bar \ x）表示为\ newcommand {\ z} {\ mathbf z} \ z_i。所述\压裂{1} {N-1}的因素不改变级别，并在总和每个术语具有（根据定义）秩1，因此，问题的核心如下：$\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$

$$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$$ $\bar \x = \sum \x_i /n$$(\x_i-\bar \x)$$\newcommand{\z}{\mathbf z}\z_i$$\frac{1}{n-1}$$1$

为什么有秩，而不是排名，因为它似乎是因为我们正在总结秩矩阵？$\sum \z_i\z_i^\top$$n-1$$n$$n$$1$

答案是因为不是独立的而发生。根据构造，。所以，如果你知道的的，那么最后剩下是完全确定的; 我们不求和独立秩矩阵，我们总结仅独立秩矩阵，然后再增加一个秩，充分线性由其余部分确定矩阵。最后添加的内容不会更改总体排名。$\z_i$$\sum\z_i = 0$$n-1$$\z_i$$\z_n$$n$$1$$n-1$$1$$1$

如果将重写为然后将其插入上面的表达式中则可以直接看到此情况：现在总和中只剩下n-1个项，很显然整个总和最多具有n-1个等级。$\sum\z_i = 0$

$$\z_n = -\sum_{i=1}^{n-1}\z_i,$$ $$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$$ $n-1$$n-1$

顺便说一下，该结果暗示了为什么协方差的无偏估计量中的因子是$\frac{1}{n-1}$而不是$\frac{1}{n}$。

我在上面的评论中提到的几何直觉是，始终可以将1D线拟合到2D中的任何两个点，并且可以始终将2D平面拟合到3D中的任何三个点，即子空间的维数始终为$n-1$ ; 这仅起作用，因为我们假定可以“移动”该线（和平面）以适合我们的点。将这条线（或平面）“定位”以使其穿过$\bar \x$相当于在上述代数参数中居中。

我相信，解释如下：

让我们定义矩阵 X矩阵样本的数据点，其中的 是一个数字的变量和是一个数为每个变量的样本。让我们假设所有变量都不是线性相关的。$n$$m$$x$$n$$m$

的等级是。$x$$min(n,m)$

让我们定义行中心变量的矩阵 x矩阵：$n$$m$$z$

$z = x - E[x]$。

居中数据的等级变为，因为现在每个数据行都受到约束：$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$。

基本上，这意味着即使删除其中一列，我们也可以重新创建整个矩阵。$z$

样本协方差方程变为：$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

显然，协方差矩阵的是。$rank(zz^T)$

根据秩为零定理： 。$rank(zz^T) = rank(z) = min(n,m-1)$