k均值|| 又名可扩展K均值++

Bahman Bahmani等。引入了k-means ||，这是k-means ++的更快版本。

此算法取自其论文的第4页，Bahmani，B.，Moseley，B.，Vattani，A.，Kumar，R.，＆Vassilvitskii，S.（2012）。可扩展的k-均值++。VLDB基金会论文集，5（7），622-633。

不幸的是，我不理解那些花哨的希腊字母，因此我需要一些帮助以了解其工作原理。据我了解，该算法是k-means ++的改进版本，它使用过采样来减少迭代次数：k-means ++必须迭代次，其中k是所需簇的数量。$k$$k$

通过一个有关k-means ++如何工作的具体示例，我得到了很好的解释，因此我将再次使用相同的示例。

例

我有以下数据集：

（7,1），（3,4），（1,5），（5,8），（1,3），（7,8），（8,2），（5,9），（8 ，0）

（所需簇数）$k = 3$

（过采样因子）$\ell = 2$

我开始进行计算，但是不确定是否正确，也不知道第2步，第4步或第5步。

• 步骤1：从X随机地均匀采样一个点$\mathcal{C} \leftarrow$$X$

  比方说，所述第一质心是（同k均值++）$(8,0)$

• 步骤2：$\psi \leftarrow \phi_X(\mathcal{C})$

  不知道

• 第三步：

  • $d^2(x, \mathcal{C}) = [2, 41, 74, 73, 58, 65, 4, 90]$

    我们计算到每个点最近的中心的平方距离。在这种情况下，我们只有一个中心，到目前为止，。$(8,0)$

  • $\ell \cdot d^2(x, \mathcal{C}) = [4, 81, 148, 146, 116, 130, 8, 180]$

    （因为在这种情况下。）$\ell = 2$

  • $\text{cumulative } \ell \cdot d^2(x, \mathcal{C}) = [4, 85, 233, 379, 495, 625, 633, 813]$

    $\ell = 2$$[0, 813)$$246.90$$659.42$$[379, 495)$$[633, 813)$

  • $\mathcal{O}(\log \psi)$$\psi$

• $x \in \mathcal{C}$$w_x$$X$$x$$\mathcal{C}$
• $\mathcal{C}$$k$

总体上或在此特定示例中的任何帮助都将非常有用。

数据点：（7,1），（3,4），（1,5），（5,8），（1,3），（7,8），（8,2），（5,9） ，（8,0）

l = 2 //过采样系数

k = 3 //不。所需集群

步骤1：

$\mathcal{C}$$\{ c_1\} = \{ (8,0) \}$$X = \{x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8\}=\{(7,1),(3,4),(1,5),(5,8),(1,3),(7,8),(8,2),(5,9)\}$

第2步：

$\phi_X(\mathcal{C})$$X$$\mathcal{C}$$X$$\mathcal{C}$$X$

$d^2_{\mathcal{C}}(x_i)$$x_i$$\mathcal{C}$$\psi = \sum_{i=1}^{n}d^2_{\mathcal{C}}(x_i)$

$\mathcal{C}$$X$$d^2_{\mathcal{C}}(x_i)$$\mathcal{C}$$x_i$$\phi = \sum_{i=1}^{n}{||x_i-c||^2}$

$\psi = \sum_{i=1}^nd^2(x_i,c_1) = 1.41+6.4+8.6+8.54+7.61+8.06+2+9.4 = 52.128$ $log(\psi) = log(52.128) = 3.95 = 4 (rounded)$

$\mathcal{C}$

第三步：

$log(\psi)$

$X$$X$$x_i$$p_x = l d^2(x,\mathcal{C})/\phi_X(\mathcal{C})$$l$$d^2(x,\mathcal{C})$$\phi_X(\mathcal{C})$ 在步骤2中进行了说明。

该算法很简单：

• $X$$x_i$
• $x_i$$p_{x_i}$
• $[0, 1]$$p_{x_i}$$\mathcal{C'}$
• $\mathcal{C'}$$\mathcal{C}$

$l$$X$

for(int i=0; i<4; i++) {

  // compute d2 for each x_i
  int[] psi = new int[X.size()];
  for(int i=0; i<X.size(); i++) {
    double min = Double.POSITIVE_INFINITY;
    for(int j=0; j<C.size(); j++) {
      if(min>d2(x[i],c[j])) min = norm2(x[i],c[j]);
    }
    psi[i]=min;
  }

  // compute psi
  double phi_c = 0;
  for(int i=0; i<X.size(); i++) phi_c += psi[i];

  // do the drawings
  for(int i=0; i<X.size(); i++) {
    double p_x = l*psi[i]/phi;
    if(p_x >= Random.nextDouble()) {
      C.add(x[i]);
      X.remove(x[i]);
    }
  }
}
// in the end we have C with all centroid candidates
return C;

步骤4：

$w$$\mathcal{C}$$0$$X$$x_i \in X$$j$$\mathcal{C}$$w[j]$$1$$w$

double[] w = new double[C.size()]; // by default all are zero
for(int i=0; i<X.size(); i++) {
  double min = norm2(X[i], C[0]);
  double index = 0;
  for(int j=1; j<C.size(); j++) {
    if(min>norm2(X[i],C[j])) {
      min = norm2(X[i],C[j]);
      index = j;
    }
  }
  // we found the minimum index, so we increment corresp. weight
  w[index]++;
}

步骤5：

$w$$k$$k$$p(i) = w(i)/\sum_{j=1}^m{w_j}$

for(int k=0; k<K; k++) {
  // select one centroid from candidates, randomly, 
  // weighted by w
  // see kmeans++ and you first idea (which is wrong for step 3)
  ... 
}  

像kmeans ++一样，前面的所有步骤都继续使用聚类算法的正常流程

我希望现在更加清楚。

[稍后，稍后编辑]

我还发现了作者所做的一个演示，在该演示中，您不能清楚地知道每次迭代都可能选择多个点。演示在这里。

[稍后编辑@pera的问题]

$log(\psi)$

$C$$log(\psi)$

要注意的另一件事是同一页面上的以下注意事项：

在实践中，我们在第5节中的实验结果表明，仅几轮就足以达成一个好的解决方案。

$log(\psi)$