如何在K均值聚类中定义聚类数？

有什么方法可以确定最佳群集数，还是我应该尝试不同的值并检查错误率以决定最佳值？

clustering unsupervised-learning

— 伯凯
source

@berkay如何为这种无监督方法定义错误率？（或者您是指SS内的用户？）

— chl

@chl，我可以使用所有群集的平方误差总和或整体准确性（在这种情况下，我知道类别标签。）

— berkay

@berkay一种用于找到编号群集的简单算法是，在越来越多的群集（以2开始，以9或10结束）上计算20个k均值运行的平均WSS，并保持具有该群集集上的最小WSS。另一种方法是Gap统计。但是，如果您已经标记了实例，那么为什么要尝试一种无监督的方法呢？

— chl

@chl谢谢，一个很好的问题，我们可以根据实例的特征猜测集群，我正在分析新的入侵特征，模仿法律申请。

— berkay

我R在这里用了六种方法（使用）回答了类似的问题：stackoverflow.com/a/15376462/1036500

— 2013年

我使用的方法是使用CCC（三次聚类标准）。我希望随着群集数增加1，CCC会增加到最大，然后观察CCC何时开始减少。那时，我以（本地）最大值的簇数为准。这类似于使用碎石图来选择主要成分的数量。

SAS技术报告A-108立方聚类标准（pdf）

=观测数 =聚类 =变量数 =聚类数 =数据矩阵 =聚类均值矩阵 =聚类指示符（ $n$
$n_k$ $k$
$p$
$q$
$X$ $n\times p$
$M$ $q\times p$
$Z$ ，如果观测。在簇，否则为0） $z_{ik}=1$ $i$ $k$

假设每个变量具有均值0：
， $Z’Z = \text{diag}(n_1, \cdots, n_q)$ $M = (Z’Z)-1Z’X$

（总）矩阵= =（簇之间）矩阵= =（簇内）矩阵= = $SS$ $T$ $X’X$
$SS$ $B$ $M’ Z’Z M$
$SS$ $W$ $T-B$

（迹线=对角线元素之和） $R^2 = 1 – \frac{\text{trace(W)}}{\text{trace}(T)}$

将列堆叠为一个长列。回归的克罗内克积的与的单位矩阵计算为该回归-相同 $X$
$Z$ $p\times p$
$R^2$ $R^2$

CCC的想法是将给定集群集获得的与通过在维空间中均匀分布的点集聚而获得的进行比较。 $R^2$ $R^2$ $p$

— 拉尔夫·温特斯
source

除了CCC，还有其他标准。看一下确定数据集中的簇数，以了解主要的簇。

— Vincent Labatut