与PCA相比，SVD有什么优势吗？

20

我知道如何用数学方法计算PCA和SVD，并且我知道两者都可以应用于线性最小二乘回归。

从数学上讲，SVD的主要优点似乎是可以将其应用于非平方矩阵。

两者都集中在矩阵的分解上。除了提到的SVD的优势之外，使用SVD相对于PCA是否还有其他优势或见解？ $X^\top X$

我真的是在寻找直觉，而不是任何数学上的差异。

pca least-squares svd

— 巴兹
source

2

问题尚不清楚。首先，您提到OLS回归。然后消失了。接下来，advantage... SVD over PCA-svd和PCA无法作为数学运算和数据分析方法进行比较。您的问题是关于PCA的制作方法吗？或者你在问什么？

— ttnphns 2014年

1

抱歉，不清楚。我有一些使用PCA推导而另一种使用SVD推导的岭型估计器。模型的建立方式存在差异，即模型使用的先验信息的术语。但是它们是由同一位作者撰写的。我试图了解它们之间的差异，并试图弄清为什么他会使用PCA与SVD作为分析的基础。也许这是武断的，但是如果我能理解优点和缺点，那将会有所帮助。到目前为止，SVD似乎只是PCA的一种方法，它在数值上趋于稳定。

— 巴兹2014年

很好，但是我只是想知道使用SVD是否还会对问题产生任何其他计量经济学见解/直觉。

— 巴兹（Baz）2014年

1

如果您想特别关注计量经济学，我认为您需要在问题中阐明并解释原因。我看不到关于SVD和PCA的讨论，无论如何，它们都是完全不同的野兽，对于计量经济学而言，与对统计科学的任何其他分支都不同。

— 尼克·考克斯

4

@Baz：“到目前为止，似乎SVD只是做PCA的一种方法，它在数值上趋于更稳定” – [在这种情况下]完全正确，是的。

— 变形虫说恢复莫妮卡2014年

Answers:

43

正如@ttnphns和@ nick-cox所说，SVD是一种数值方法，而PCA是一种分析方法（如最小二乘）。您可以使用SVD进行PCA，或者可以进行（或）的特征分解的PCA，或者可以使用许多其他方法来进行PCA，就像可以使用多种算法求解最小二乘一样例如牛顿法或梯度下降法或SVD法等。 $X^T X$ $X X^T$

因此，与PCA相比，SVD没有“优势”，因为这就像询问牛顿的方法是否比最小二乘更好：两者不可比。

— 紫色51
source

8

一个简洁，简短的答案仍然可以成为问题核心的好例子。

— Nick Cox 2014年

3

哇，这个答案有8个赞，原始问题有0个赞。这没有多大意义。如果您赞成答案，请考虑也考虑该问题！

— 变形虫说恢复莫妮卡2014年

1

@amoeba对我的问题感到困惑。答案清楚地说明了什么是混乱。我认为这是对票数差异的很好解释。

— 尼克·考克斯

5

实际上，SVD本身并不是一种数值方法，它本身并不是一种数值方法，它是一个线性代数运算，可以使用涉及Householder变换之类的特定数值方法来实现...

— Purple51 2014年

但是，（通过SVD导出主成分时）SVD的优势在于数字上的优势：更高的精度。参见例如Jolliffe（2002）。也许

— Nikos Alexandris

2

问题实际上是在应用SVD之前是否应该对列进行Z分数标准化。这是因为PCA是SVD之后的上述转换。有时进行标准化非常有害。例如，如果您的数据是正数的（转换的）字数，那么减去平均值绝对是有害的。这是因为代表文档中没有单词的零将被映射为具有高幅度的负数。在线性问题中，应使用较高的幅度来表示特征最敏感的范围。同样，将标准偏差除以此类数据也是有害的。

— 斯蒂芬·萨维（Stefan Savev）
source

这是一个有趣的示例，但是我认为它应该属于其他一些线程。PCA绝对可以在不进行z评分的情况下完成，因此我不同意您的第一句话：这不是这个问题的“真正要求”。

— 变形虫说莫妮卡（

如果您忽略减去均值，则PCA和SVD相同（这是我提到的Z评分，有时人们给PCA除以标准差）。因此，我不同意您可以进行PCA而不减去均值。您也可以在非平方矩阵上执行PCA。

— Stefan Savev

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.