我正在从Andrew Ng的Coursera课程和其他材料中学习PCA。在斯坦福大学自然语言处理课程中，cs224n的第一次作业，以及安德鲁·伍的演讲视频（，他们进行奇异值分解而不是协方差矩阵的特征向量分解，而且吴还说SVD在数值上比特征分解更稳定。

根据我的理解，对于PCA，我们应该对(m,n)大小的数据矩阵进行SVD ，而不是对大小的协方差矩阵进行SVD (n,n)。以及协方差矩阵的特征向量分解。

为什么他们使用协方差矩阵而不是数据矩阵的SVD？

变形虫已经在评论中给出了很好的答案，但是如果您需要正式的论点，那就可以了。

矩阵的奇异值分解是甲= û Σ V Ť，其中的列V是特征向量甲Ť甲和的对角项Σ是平方根它的特征值，即σ 我我 = $A$$A=U\Sigma V^T$$V$$A^TA$$\Sigma$。$\sigma_{ii}=\sqrt{\lambda_i(A^TA)}$

如您所知，主要成分是变量在经验协方差矩阵1的特征向量空间上的正交投影。。各成分的方差通过它的特征值给出，λ我（$\frac{1}{n-1}A^TA$。$\lambda_i(\frac{1}{n-1}A^TA)$

考虑任何方阵，α ＆Element; [R和矢量v，使得乙v = λ v。然后$B$$\alpha \in \mathbb R$$v$$Bv=\lambda v$

1. $B^kv=\lambda^kv$
2. $\lambda(\alpha B) = \alpha\lambda( B)$

让我们定义。S的SVD将计算STS=1的本征分解$S=\frac{1}{n-1}A^TA$$S$产生$S^TS=\frac{1}{(n-1)^2}A^TAA^TA$

1. 的特征向量，其性质1是A T A的特征向量$(A^TA)^TA^TA=A^TAA^TA$$A^TA$
2. 的平方根的本征值的，其通过属性2，则1，然后再次参考图2，是$\frac{1}{(n-1)^2}A^TAA^TA$。$\sqrt{\frac{1}{(n-1)^2} \lambda_i(A^TAA^TA)} = \sqrt{\frac{1}{(n-1)^2} \lambda_i^2(A^TA)} = \frac{1}{n-1}\lambda_i(A^TA) = \lambda_i(\frac{1}{n-1}A^TA)$

瞧！

关于数值稳定性，需要弄清楚所使用的算法是什么。如果您愿意的话，我相信这些是numpy使用的LAPACK例程：

• numpy.linalg.eig
• numpy.linalg.svd

更新：关于稳定性，SVD实现似乎使用了分而治之的方法，而本征分解则使用普通的QR算法。我无法从我的机构获得一些相关的SIAM论文（怪异的研究削减），但是我发现了一些可以支持SVD程序更稳定的评估方法。

在

Nakatsukasa，Yuji和Nicholas J.Higham。“用于对称特征值分解和SVD的稳定高效的频谱划分和征服算法。” SIAM科学计算期刊35.3（2013）：A1325-A1349。

他们比较了各种特征值算法的稳定性，似乎分治法（在一项实验中使用与numpy相同的方法！）比QR算法更稳定。这与其他地方声称D＆C方法确实更稳定的说法一起，支持了Ng的选择。

@amoeba对PCA问题有很好的答案，包括关于SVD与PCA的关系这一问题。回答您的确切问题，我将提出三点意见：

• 在数学上，您是直接在数据矩阵上还是在其协方差矩阵上计算PCA都没有区别
• 差异完全是由于数值精度和复杂性。在数值上直接应用SVD比在协方差矩阵上更稳定
• SVD可以应用于协方差矩阵以执行PCA或获取特征值，实际上，这是我最喜欢的解决特征问题的方法

事实证明，SVD比典型的特征值分解过程更稳定，尤其是对于机器学习而言。在机器学习中，很容易得出高度共线性的回归变量。在这些情况下，SVD效果更好。

这是演示这一点的Python代码。我创建了一个高度共线性的数据矩阵，得到了它的协方差矩阵，并试图获得后者的特征值。SVD仍在工作，而普通的本征分解在这种情况下会失败。

import numpy as np
import math
from numpy import linalg as LA

np.random.seed(1)

# create the highly collinear series
T = 1000
X = np.random.rand(T,2)
eps = 1e-11
X[:,1] = X[:,0] + eps*X[:,1]

C = np.cov(np.transpose(X))
print('Cov: ',C)

U, s, V = LA.svd(C)
print('SVDs: ',s)

w, v = LA.eig(C)
print('eigen vals: ',w)

输出：

Cov:  [[ 0.08311516  0.08311516]
 [ 0.08311516  0.08311516]]
SVDs:  [  1.66230312e-01   5.66687522e-18]
eigen vals:  [ 0.          0.16623031]

更新资料

回答费德里科·波洛尼（Federico Poloni）的评论，以下是对SVD与Eig进行稳定性测试的代码，这些代码针对上述相同矩阵的1000个随机样本。在许多情况下，Eig的特征值较小，为0，这将导致矩阵的奇异性，而SVD在此不这样做。在小的特征值确定中，SVD的精度大约高出两倍，根据您的问题，此精度可能不重要。

import numpy as np
import math
from scipy.linalg import toeplitz
from numpy import linalg as LA

np.random.seed(1)

# create the highly collinear series
T = 100
p = 2
eps = 1e-8

m = 1000 # simulations
err = np.ones((m,2)) # accuracy of small eig value
for j in range(m):
    u = np.random.rand(T,p)
    X = np.ones(u.shape)
    X[:,0] = u[:,0]
    for i in range(1,p):
        X[:,i] = eps*u[:,i]+u[:,0]

    C = np.cov(np.transpose(X))

    U, s, V = LA.svd(C)

    w, v = LA.eig(C)

    # true eigen values
    te = eps**2/2 * np.var(u[:,1])*(1-np.corrcoef(u,rowvar=False)[0,1]**2)
    err[j,0] = s[p-1] - te
    err[j,1] = np.amin(w) - te


print('Cov: ',C)
print('SVDs: ',s)
print('eigen vals: ',w)
print('true small eigenvals: ',te)

acc = np.mean(np.abs(err),axis=0)    
print("small eigenval, accuracy SVD, Eig: ",acc[0]/te,acc[1]/te)

输出：

Cov:  [[ 0.09189421  0.09189421]
 [ 0.09189421  0.09189421]]
SVDs:  [ 0.18378843  0.        ]
eigen vals:  [  1.38777878e-17   1.83788428e-01]
true small eigenvals:  4.02633695086e-18
small eigenval, accuracy SVD, Eig:  2.43114702041 3.31970128319

这里的代码代码有效。我不是生成随机协方差矩阵来测试例程，而是生成具有两个变量的随机数据矩阵：

$$x_1=u\\ x_2=u+\varepsilon v$$ $u,v$ $$\begin{pmatrix} \sigma_1^2 & \sigma_1^2 + \varepsilon \rho \sigma_1 \sigma_2\\ \sigma_1^2 + \varepsilon \rho \sigma_1 \sigma_2 & \sigma_1^2 + 2 \varepsilon \rho \sigma_1 \sigma_2 + \varepsilon^2 \sigma_2^2\sigma^2\end{pmatrix}$$ $\sigma_1^2,\sigma_2^2,\rho$ -方差制服以及它们之间的相关性的coeffient。

$$\lambda= \frac 1 2 \left(\sigma_2^2 \varepsilon^2 - \sqrt{\sigma_2^4 \varepsilon^4 + 4 \sigma_2^3 \rho \sigma_1 \varepsilon^3 + 8 \sigma_2^2 \rho^2 \sigma_1^2 \varepsilon^2 + 8 \sigma_2 \rho \sigma_1^3 \varepsilon + 4 \sigma_1^4} + 2 \sigma_2 \rho \sigma_1 \varepsilon + 2 \sigma_1^2\right)$$ $\varepsilon$ $$\lambda\approx \sigma_2^2 \varepsilon^2 (1-\rho^2)/2$$

$j=1,\dots,m$$\hat\lambda_j$$e_j=\lambda-\hat\lambda_j$

对于Python用户，我想指出的是，对于对称矩阵（例如协方差矩阵），最好使用numpy.linalg.eigh函数而不是通用numpy.linalg.eig函数。

eigh比eig我的计算机快9到10倍（无论矩阵大小如何），并且精度更高（基于@Aksakal的精度测试）。

我不相信具有小特征值的SVD的准确性优势的证明。@Aksakal的测试对随机状态的敏感性比对算法的敏感性高1-2个数量级（请尝试绘制所有错误，而不是将其减少到一个绝对最大值）。这意味着，与选择本征分解算法相比，协方差矩阵中的小误差对精度的影响更大。同样，这与有关PCA的主要问题无关。PCA中忽略了最小的组件。

关于数值稳定性，可以提出类似的论点。如果必须对PCA使用协方差矩阵方法，可以使用eigh代替进行分解svd。如果失败（此处尚未证明），那么在开始寻找更好的算法之前，可能值得重新考虑您要解决的问题。

要回答您问题的最后一部分，“为什么要对协方差矩阵而不是数据矩阵进行SVD​​？” 我相信这是出于性能和存储原因。通常，$m$ 将是一个非常大的数字，即使 $n$ 很大，我们期望 $m \gg n$。

对于相同的结果，在这些条件下计算协方差矩阵然后执行SVD比在完整数据矩阵上计算SVD快得多。

即使对于很小的值，性能提升也可以达到数千倍（毫秒与秒）。我在计算机上进行了一些测试，以使用Matlab进行比较：

那只是CPU时间，但是存储需求也同样重要，甚至更多。如果您在Matlab中以百万分之一千的矩阵尝试SVD，则默认情况下会出错，因为它需要7.4TB的有效阵列大小。