R对文本分类任务的缩放程度如何？[关闭]

我试图与R同步。最终我想使用R库进行文本分类。我只是想知道人们在进行文本分类时对R的可伸缩性有何经验。

我可能会遇到高维数据（约30万维）。我正在研究使用SVM和随机森林作为分类算法。

R库会扩展到我的问题规模吗？

谢谢。

编辑1：只是为了澄清，我的数据集可能有1000-3000行（也许更多）和10个类。

编辑2：由于我是R的新手，因此我将要求海报在可能的情况下更加具体。例如，如果您建议一个工作流程/管道，请确保尽可能提及每个步骤中涉及的R库。一些额外的指针（例如示例，示例代码等）将锦上添花。

编辑3：首先，谢谢大家的评论。其次，我很抱歉，也许我应该为这个问题提供更多的背景信息。我是R的新手，但对文本分类却不太了解。我已经使用tm包对我的数据的某些部分进行了预处理（删除，删除停用词，tf-idf转换等），以使您对事物有所了解。即使只有大约200个文档，tm也是如此缓慢，以至于我担心可伸缩性。然后我开始玩FSelector，即使那真的很慢。这就是我进行操作的关键所在。

编辑4：我刚想到我有10个班级，每个班级大约有300份培训文档，实际上我是在整个培训集中构建termXdoc矩阵，从而产生了很高的维度。但是，如何将每个千分之一分类问题简化为一系列二进制分类问题呢？这将大大减少k-1步骤每一步的培训文档的数量（并因此减少维度），不是吗？那么这是一种好方法吗？与普通的多类实现相比，它的准确性如何？

根据评论的要求，以下是一些处理步骤的指针。在自然语言处理的CRAN任务视图中可以找到许多工具。您可能还想看看有关R 的tm（文本挖掘）包的本文。

1. 在处理之前，请考虑单词令牌的标准化。 openNLP（有一个R包）是一条路线。
2. 对于文本处理，通常的预处理步骤是通过tf.idf-词频*反向文档频率- 标准化数据- 有关更多详细信息，请参见Wikipedia条目。还有其他最近的标准化方法，但这是一种面包和黄油方法，因此了解它很重要。您可以在R中轻松实现它：只需存储（docID，wordID，freq1，freq2），其中freq1是由wordID索引的单词出现在给定文档中的次数，而freq2是出现在其中的文档数量。无需为未出现在给定文档中的单词存储此向量。然后，只要取freq1 / freq2，就可以得到tf.idf值。
3. 计算tf.idf值后，您可以使用数据的完整维度，或过滤掉那些本质上无用的单词。例如，仅出现在1个文档中的任何单词都不会提供太多洞察力。这可能会大大降低尺寸。考虑到要检查的文档数量很少，您可能会发现缩小到1K尺寸是合适的。
4. 我不会同时更新数据（例如，对于PCA），但是您可以使用Matrix软件包支持的稀疏矩阵轻松地将数据现在存储在术语矩阵（条目现在为tf.idf值）中。

至此，您已经有了一个很好的预处理数据集。我建议继续使用CRAN任务视图或文本挖掘程序包中引用的工具。绘制数据时，例如通过投影到前4个或6个主成分上来对数据进行聚类可能对您的团队非常有趣。

另一件事：使用各种分类方法时，您可能会发现沿PCA（*）的降维可能会有所帮助，因为您实际上是在汇总相关的单词。给定样本量，前10-50个主要成分可能是文档分类所需的全部。

（*）注意：PCA只是第一步。对于刚开始使用文本挖掘和PCA的人来说，这可能会非常有趣，但是您最终可能会发现，这对于稀疏数据集有点麻烦。不过，首先请看一下它，尤其是通过prcomp和princomp函数。

更新：我没有在此答案中说明偏好-我建议prcomp而不是princomp。

首先，欢迎您！文本处理非常有趣，而在R中进行文本处理一直变得越来越容易。

简短的答案：是的-R中的工具现在非常适合处理此类数据。实际上，在RAM中进行数据存储时，R，C ++，Groovy，Scala或任何其他语言都没有什么特别的：每种语言都在其中存储一个8字节的双精度浮点数……等待它……等待它。 .. 8个字节！

算法及其实现确实很重要，尤其是在数据结构和计算复杂性方面实现得很差的情况下。如果要实现自己的算法，请小心。如果使用其他代码，则在任何环境中都适用警告购买者。

对于R，您需要考虑：

1. 您的数据表示形式（请查看稀疏矩阵，尤其是在Matrix包中）
2. 数据存储（也许使用bigmemory或映射ff或使用Hadoop或分布式的内存）
3. 数据分区（RAM中可容纳多少取决于您有多少RAM）

最后一点实际上在您的控制之下。

当涉及到这种尺寸时，它不再特别大。＃观察值会产生更大的影响，但是您可以对数据进行分区以根据RAM使用情况进行调整，因此不必担心太多。

我同意Crayola的观点，这里的行数至关重要。对于RF，您将需要至少比数据集权重多3倍的RAM，并可能需要很多时间（这种数量的属性通常在林中需要很多树-并且请注意，R中没有RF的并行实现）。

关于SVM，我怀疑与300k尺寸抗衡是否是一个好主意，而您可能可以开发一个等效于文本描述符的内核函数。

编辑：3k x 30k（实际）矩阵将占用约7Gb的空间，因此您需要对此数据进行RF（使用randomForest）是一台具有16GB RAM，有些运气和相当长的时间的计算机，或者只是一台具有24GB内存的计算机RAM和相当多的时间。