在R中对大数据进行聚类并且与采样相关吗？

我是数据科学的新手，在查找R中具有200,000行和50列的数据集中的聚类时遇到问题。

由于数据同时具有数字变量和名义变量，因此使用Euclidean距离度量的K-means之类的方法似乎不是合适的选择。因此，我转向接受距离矩阵作为输入的PAM，agnes和hclust。

菊花方法可以处理混合类型的数据，但距离矩阵太大：200,000乘以200,000，比2 ^ 31-1（R 3.0.0之前的向量长度限制）大得多。

昨天发布的新R 3.0.0支持长度大于2 ^ 31-1的长向量。但是200,000 x 200,000的双矩阵需要大于16Gb的连续RAM，这在我的机器上是不可能的。

我读过有关并行计算和bigmemory包的信息，但不确定它们是否对您有帮助：如果我使用的是雏菊，它将生成一个大矩阵，该矩阵无论如何都无法容纳在内存中。

我还阅读了有关采样的文章： 采样与“大数据”时代相关吗？

因此，就我而言，对数据集使用抽样，对样本进行聚类然后推断整个数据集的结构是否相关？

你能给我一些建议吗？谢谢！

关于我的机器：

R版本3.0.0（2013-04-03）

平台：x86_64-w64-mingw32 / x64（64位）

操作系统：Windows 7 64bit

内存：16.0GB

正如您所注意到的，任何需要完整距离矩阵的方法都行不通。内存是一回事，但另一方面是运行时。分层聚类的典型实现是在（我知道ELKI具有SLINK，这是单链路聚类的算法）。这只是不能扩展到大数据集。$O(n^3)$$O(n^2)$

PAM本身不应该需要完整的距离矩阵，但是众所周知该算法伸缩性很差，因为它随后需要在每次迭代中（重新）计算每个群集内的所有成对距离，以找到最中心的元素。如果您有大量的群集，这要少得多，但是却非常昂贵！

相反，您应该研究可以使用索引结构进行加速的方法。有了良好的索引，此类聚类算法可以在运行，这对于大型数据集而言要好得多。$O(n log n)$

但是，对于大多数这些算法，您首先需要确保距离功能确实很好。那么您需要考虑使用适当的索引来加速查询的方法。

还要注意，在很多情况下-这可能对PAM来说很成立-您可以先对样本运行算法，然后仅对完整数据集进行优化。如果您的样本具有代表性，那么k均值和PAM之类的算法应为您提供与完整数据集基本相同的结果。

请尝试使用R中群集程序包中的CLARA函数。它通过对数据进行二次采样来实现类似pam的算法（请确保您提供对数据有意义的子样本大小，因为默认值故意太小了）。如果可以用总数据的一小部分样本来表示数据中的中间变量（即-数据集中的簇相对较少），则该方法特别有用。这样，您可以使用少量随机样本有效地进行聚类，并将点添加到预先计算的聚类解决方案中。

http://en.wikibooks.org/wiki/Data_Mining_Algorithms_In_R/Clustering/CLARA

您还可以对定性变量进行多次对应分析，然后转换为数字变量。