在非常大的稀疏矩阵上应用PCA

我正在使用R进行文本分类任务，并获得了文档项矩阵，其大小为22490 x 120,000（只有400万个非零条目，少于1％的条目）。现在，我想通过使用PCA（主成分分析）来减少尺寸。不幸的是，R无法处理这个庞大的矩阵，因此我将这个稀疏矩阵存储在“矩阵市场格式”的文件中，希望使用其他技术来进行PCA。

因此，任何人都可以给我一些有用的库（无论使用哪种编程语言）的提示，这些库可以轻松地使用此大规模矩阵进行PCA，或者由我自己进行长期的PCA，换句话说，首先要计算协方差矩阵，然后然后计算协方差矩阵的特征值和特征向量。

我想要的是计算所有PC（120,000），并仅选择占90％方差的前N个PC。显然，在这种情况下，我必须给先验阈值以将一些非常小的方差值设置为0（在协方差矩阵中），否则，协方差矩阵将不会稀疏，其大小将为120,000 x 120,000，即一台机器无法处理。同样，载荷（特征向量）将非常大，应以稀疏格式存储。

非常感谢您的帮助！

注意：我使用的机器具有24GB RAM和8个CPU内核。

我建议使用irlba软件包-它产生的结果与svd几乎相同，但是您可以定义较少数量的奇异值来解决。可以在此处找到使用稀疏矩阵解决Netflix奖励的示例：http : //bigcomputing.blogspot.de/2011/05/bryan-lewiss-vignette-on-irlba-for-svd.html

我建议使用SLEPc计算部分SVD。请参阅第4章用户手册和SVD手册页了解详情。

我投票赞成mahout，这对其他NLP / TA任务也很有利，并且实现了map / reduce。

我建议使用增量奇异值分解，文献中有很多。例如：

• Matthew Brand 1和2的技术报告相当容易理解
• 克里斯·贝克（Chris Baker）的硕士论文，他的软件IncPACK和后来的纸增量SVD方法
• Bunch和Nielsen出版了最早的 论文
• Hall关于更新特征值问题的论文1和 2的论文
• Levy等人的连续Karhunen-Loeve分析基本上是相同的

所有这些方法可简化为以下几种：

• 从一个小的数据集开始
• 以某种方式计算SVD（对于单列矩阵，此步骤很简单）
• 重复直到完成：
  • 添加新数据集
  • 使用现有的SVD和更新规则来计算新数据集的SVD

$N$

您仍然可以使用R。

Revolution R是R的内部版本，用于处理大于RAM的数据集。使用功能princomp。

它还具有全面的统计功能，专门针对不适合RAM的大数据样式问题而设计，例如线性回归，逻辑回归，分位数等。

您可以通过勾选“我是学者”框免费下载功能齐全的学术版。