余弦相似度与欧几里得距离（LSA）的K均值

我正在使用潜在语义分析来表示较低维空间中的文档语料库。我想使用k均值将这些文档分为两组。

几年前，我使用Python的gensim并编写了自己的k-means算法来做到这一点。我使用欧几里得距离确定了聚类质心，但随后基于与质心的余弦相似度对每个文档聚类了。它似乎工作得很好。

现在，我正在尝试在更大的文档集上执行此操作。K-means没有收敛，我想知道这是否是我的代码中的错误。我最近读到您不应该使用余弦相似度进行聚类，因为k均值仅适用于欧几里得距离。即使正如我提到的那样，它在较小的测试用例中似乎也可以正常工作。

现在，我在LSA维基百科页面上发现了这一点：

可以使用传统的聚类算法（如k均值）和相似度（如余弦）对文档和术语向量表示进行聚类。

那是什么呢？是否可以使用余弦相似度？

是的，您可以使用它。问题在于，余弦相似度不是距离，这就是为什么它被称为相似度的原因。尽管如此，由于解释它可以转换为距离这里。

实际上，您可以使用任何距离。关于高维空间中距离函数的性质的一个很好的研究（就像在信息检索中通常如此）是关于高维空间中距离度量的惊人行为。它没有比较欧几里得和余弦。

我遇到了这项研究，他们声称在高维空间中，两种距离的行为往往相似。

欧式距离不适用于比较文档或文档簇。比较文档时，一个关键问题是按文档长度进行归一化。余弦相似度可以实现这种归一化，而欧氏距离则不能。此外，文档通常被建模为多项概率分布（所谓的单词袋）。余弦相似度是JS散度的近似值，后者是统计学上证明相似度合理的方法。文档和余弦的一个关键问题是应该对计数应用适当的tf-idf归一化。如果您使用gensim派生LSA表示，gensim已经做到了。

对于2个集群的用例，另一个有用的观察结果是，由于LSA只是SVD，因此可以获得良好的非随机初始化。您可以通过以下方式进行操作：

• 仅取每个文档的第一个组件（假设第一个组件是最上面的奇异矢量）。
• 通过跟踪每个值的文档ID对这些值进行排序。
• 类别1 =对应于最高值（例如1000（或更多））的文档ID
• 类别2 =对应于底部的文档ID，例如1000（或更多）个值
• 只需对每个聚类的向量求平均值，并根据向量长度进行归一化。
• 现在将k-means应用于此初始化。这意味着只需迭代（1）将文档分配给当前最接近的质心，以及（2）重新分配后平均并归一化新质心

是的，通过矢量平均值进行的相同质心更新有效。

参见本文第2.2节中的m = 1情况。对于基本k均值算法，w是权重，权重均为1。

本文利用Cauchy-Schwartz不等式的性质建立了最小化k均值成本函数的条件。

还要记住，余弦相似度不是向量距离。余弦不等式。（这应该是一个很好的搜索词。）因此，当您更新分区时，您正在寻找而arg max不是arg min。