我有一个输入参数为（聚类数）的聚类算法（不是k均值）。执行聚类后，我想对这种聚类的质量进行一些定量的衡量。聚类算法具有一个重要的特性。对于如果我将数据点之间没有任何明显区别地馈入该算法，结果我将得到一个包含数据点的群集和一个包含1个数据点的群集。显然这不是我想要的。因此，我想计算此质量度量以估计此聚类的合理性。理想情况下，我将能够比较不同k的度量。所以我将在k范围内运行聚类并选择质量最好的一种。我该如何计算这种质量指标？
更新：
这是是不良聚类的示例。假设在形成等边三角形的平面上有3个点。将这些点分为2个群集显然比将它们分为1个或3个群集要差。
Answers:
度量标准的选择取决于您认为集群的目的。我个人认为，聚类应该是识别由不同数据生成过程生成的不同观察组。因此，我将通过从已知的数据生成过程中生成数据来测试集群的质量，然后计算集群对模式进行错误分类的频率。当然，这涉及对每个生成过程中的模式分布进行假设，但是您可以使用为监督分类而设计的数据集。
其他人则认为聚类是试图将具有相似属性值的点分组在一起，在这种情况下，可以应用诸如SSE等措施。但是，我发现对聚类的定义并不令人满意，因为它仅告诉您有关特定数据样本的某些信息，而不是有关基础分布的一般性信息。方法如何处理重叠的群集是此视图的一个特定问题（对于“数据生成过程”视图，它不会引起任何实际问题，您只需获取群集成员的概率）。
在这里，您可以采取几种措施，但还有更多措施：
SSE：每个聚类项的平方误差之和。
簇间距离：每个簇质心之间的平方距离之和。
每个群集的群集内距离：每个群集的项到其质心的平方距离之和。
最大半径：实例到群集质心的最大距离。
平均半径：实例到其群集质心的最大距离之和除以群集数。
您遇到了“聚类验证”区域。我的学生使用以下方法进行了验证：
A. Banerjee和RN Dave。使用Hopkins统计信息验证集群。2004年IEEE模糊系统国际会议IEEE Cat No04CH37542，1：p。149–153，2004年。
基于该原理，如果群集有效，则数据点将均匀分布在群集内。
但是在此之前，您应该确定数据是否具有所谓的“聚类趋势”，即是否值得聚类和最佳聚类数量：
S. Saitta，B。Raphael和IFC Smith。聚类的综合有效性指标。智力 数据分析，12（6）：p。529–548，2008年。
正如其他人指出的那样，有许多衡量“质量”的方法。大多数程序会最小化SSE。没有任何一个数字可以充分说明数据中的噪声，方法中的噪声或平坦的最小值（萨斯喀彻温省的低点）。
因此，首先尝试可视化给定的聚类，然后将其降低到“ 41”。然后进行3次运行：您获得SSE 41、39、43或41、28、107吗？簇的大小和半径是多少？
（添加：）查看轮廓图和轮廓分数，例如在Izenman的书《 现代多元统计技术》 （Modern Multivariate Statistics Techniques，2008，731p，isbn 0387781889）中。
可以使用诸如在无监督的随机森林中使用的方法。
随机森林算法将无监督分类视为两类问题，这是通过从数据集中删除依赖结构（随机化）从第一个数据集创建完全不同的人工和随机数据集。
然后，您可以创建这样的人工和随机数据集，应用聚类模型，并在真实数据和随机数据中比较您选择的指标（例如SSE）。
通过度量给定的聚类模型为您提供的真实数据比为您的真实数据提供的值小得多的次数，可以通过使用选择（例如SSE或袋外误差预测）。
因此，您的度量标准是真实数据和随机数据之间选择的任何度量标准之间的差异（概率，大小差异等）。
对许多模型进行迭代可以使您区分模型。
这可以在R中实现。