如何计算巨大的稀疏矩阵的SVD？

计算数据非常稀疏的非常大的正矩阵（65M x 3.4M）的奇异值分解（SVD）的最佳方法是什么？

少于0.1％的矩阵为非零。我需要一种方法：

• 将适合内存（我知道在线方法存在）
• 将在合理的时间内计算：3,4天
• 会足够准确，但是准确性不是我的主要关注点，我希望能够控制投入的资源。

拥有一个实现它的Haskell，Python，C＃等库，将是很棒的。我没有使用mathlab或R，但如有必要，我可以使用R。

如果适合内存，请使用Matrix包在R中构造一个稀疏矩阵，然后对SVD 尝试irlba。您可以指定结果中需要多少个奇异矢量，这是限制计算的另一种方法。

那是一个很大的矩阵，但是过去我用这种方法取得了很好的效果。 irlba非常先进。它使用隐式重启的Lanczos双对角线化算法。

它可以以毫秒为单位浏览netflix奖赏数据集（480,189行乘17,770列，100,480,507非零条目）。您的数据集比Netflix数据集大200,000倍，因此所需的时间要长得多。预期它可以在几天内完成计算可能是合理的。

1. Apache Spark：https：//spark.apache.org/docs/1.1.0/mllib-data-types.html
2. Mahout Samsara（核心运行于Spark等）：https : //mahout.apache.org/users/environment/out-of-core-reference.html
3. SciDB（用于真正的大数据）：http : //www.paradigm4.com/scidb-how-linear-algebra-operations-scale/