为什么要用低秩近似值打扰？

如果您的矩阵具有n行和m列，则可以使用SVD或其他方法来计算给定矩阵的低秩近似。

但是，低阶近似仍将具有n行和m列。假设您拥有相同数量的特征，低秩近似对于机器学习和自然语言处理如何有用？

低秩近似的可以被分解成一个矩阵平方根作为，其中的特征分解是，从而减少的特征的数量，这可以表示为基于秩-R近似为。注意下标$\hat{X}$$X$$G=U_{r}\lambda_{r}^\frac{1}{2}$$X$$U\lambda U^T$$G$$\hat{X}=GG^T$$r$ 表示在近似中使用的特征向量和特征值的数量。因此，它确实减少了表示数据的要素数量。在某些示例中，在诸如正交性，非负性（非负矩阵分解）等特殊约束下，低秩近似被视为原始数据的基于基数或潜在变量（字典）的扩展。

低秩近似的点不一定仅用于执行尺寸减小。

想法是基于领域知识，矩阵的数据/条目将以某种方式使矩阵排名较低。但这是条目不受噪声，损坏，值丢失等影响的理想情况。观察到的矩阵通常具有更高的等级。

因此，低秩近似是一种恢复“原始”（在被噪声等弄乱之前的“理想”矩阵）低秩矩阵的方法，即找到最一致的矩阵（根据观察到的条目）与当前矩阵比较低，因此可以用作理想矩阵的近似值。恢复了此矩阵后，我们可以将其用作嘈杂版本的替代品，并希望获得更好的结果。

迄今未提及的另外两个原因：

1. 减少共线性。我相信大多数这些技术都消除了共线性，这对后续处理很有帮助。

2. 我们的想象力是低级的，因此有助于探索低级关系。

$r<m$$r$$m$

根据“现代多元统计技术（Izenman）”，降秩回归涵盖了几种有趣的方法，例如PCA，因子分析，规范变量和相关性分析，LDA和对应分析等特殊情况。