为什么要用低秩近似值打扰?


20

如果您的矩阵具有n行和m列,则可以使用SVD或其他方法来计算给定矩阵的低秩近似

但是,低阶近似仍将具有n行和m列。假设您拥有相同数量的特征,低秩近似对于机器学习和自然语言处理如何有用?


2
它们通常具有稀疏表示形式-您不需要为低秩近似存储个数。例如,等级1近似值需要个数。ññ+
probabilityislogic

Answers:


16

低秩近似的可以被分解成一个矩阵平方根作为,其中的特征分解是,从而减少的特征的数量,这可以表示为基于秩-R近似为。注意下标X^XG=ü[Rλ[R1个2XüλüŤGX^=GGŤ[R 表示在近似中使用的特征向量和特征值的数量。因此,它确实减少了表示数据的要素数量。在某些示例中,在诸如正交性,非负性(非负矩阵分解)等特殊约束下,低秩近似被视为原始数据的基于基数或潜在变量(字典)的扩展。


5

低秩近似的点不一定仅用于执行尺寸减小。

想法是基于领域知识,矩阵的数据/条目将以某种方式使矩阵排名较低。但这是条目不受噪声,损坏,值丢失等影响的理想情况。观察到的矩阵通常具有更高的等级。

因此,低秩近似是一种恢复“原始”(在被噪声等弄乱之前的“理想”矩阵)低秩矩阵的方法,即找到最一致的矩阵(根据观察到的条目)与当前矩阵比较低,因此可以用作理想矩阵的近似值。恢复了此矩阵后,我们可以将其用作嘈杂版本的替代品,并希望获得更好的结果。


4

迄今未提及的另外两个原因:

  1. 减少共线性。我相信大多数这些技术都消除了共线性,这对后续处理很有帮助。

  2. 我们的想象力是低级的,因此有助于探索低级关系。



1

根据“现代多元统计技术(Izenman)”,降秩回归涵盖了几种有趣的方法,例如PCA,因子分析,规范变量和相关性分析,LDA和对应分析等特殊情况。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.