当维数大于观测次数时，PCA是否仍通过协方差矩阵的特征分解完成？

我有一个矩阵，在D = 100维空间中包含我的N = 20个样本。现在，我希望在Matlab中编写自己的主成分分析（PCA）。我首先将X贬为X_0。X N = 20 D = 100 X X $20\times100$$X$$N=20$$D=100$$X$$X_0$

我从某人的代码中了解到，在这种情况下，我们的维数比观测值大，我们不再对$X_0$的协方差矩阵进行特征分解。取而代之的是，我们对\ frac {1} {N-1} X_0X_0 ^ T进行特征分解$\frac{1}{N-1}X_0X_0^T$。为什么正确？

正常协方差矩阵的大小为$D\times D$，其中每个元素告诉我们二维之间的协方差。对我来说，$\frac{1}{N-1}X_0X_0^T$甚至尺寸都不正确！它是N \ x N$N\times N$矩阵，那么它将告诉我们什么？两个观察值之间的协方差？

协方差矩阵的大小为，由C = $D\times D$

$$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$$

您所讨论的矩阵当然不是协方差矩阵；它称为Gram矩阵，大小为 x：G = $N\times N$

$$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$$

主成分分析（PCA）可以通过对这两个矩阵进行特征分解来实现。这些只是计算同一事物的两种不同方法。

最简单，最有用的方法是使用数据矩阵的奇异值分解。将其插入和的表达式中，我们得到：Ç ģ $\mathbf X = \mathbf {USV}^\top$$\mathbf C$$\mathbf G$

$$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$$

协方差矩阵的特征向量是主方向。这些特征向量上的数据投影是主要成分。这些预测由。缩放到单位长度的主成分由给出。如您所见，Gram矩阵的特征向量正是这些可缩放的主成分。和的特征值一致。$\mathbf V$$\mathbf {US}$$\mathbf U$$\mathbf C$$\mathbf G$

如果可能会建议使用Gram矩阵的原因是，与协方差矩阵相比，它的大小较小，因此计算速度更快，特征分解速度更快。实际上，如果维数太高，则甚至无法将协方差矩阵存储在内存中，因此对Gram矩阵进行操作是进行PCA的唯一方法。但是对于可管理的，即使您愿意，即使您仍然可以使用协方差矩阵的特征分解。$N<D$$D$$D$$N<D$

---

• 另请参阅：在PCA中，与特征向量之间的关系$\frac{1}{N}XX^\top$$\frac{1}{N}X^\top X$