Dirichlet聚类流程：如何处理标签？

问：使用Dirichlet流程对数据进行聚类的标准方法是什么？

使用吉布斯采样时，采样簇会出现并消失。此外，由于后验分布对于聚类重标记是不变的，因此我们存在可识别性问题。因此，我们不能说哪个是用户集群，而是两个用户在同一个集群中（即）。$p(c_i=c_j)$

我们可以总结一下类的分配，以便如果是点的集群分配，那么现在不仅是而且是？$c_i$$i$$c_i=c_j$$c_i=c_j=c_j=...=c_z$

这些是我找到的替代方案，也是为什么我认为它们不完整或被误导的原因。

（1）DP-GMM + Gibbs采样+基于对的混淆矩阵

为了将Dirichlet过程高斯混合模型（DP-GMM）用于聚类，我实现了本文，其中作者提出了使用Gibbs采样进行密度估计的DP-GMM 。

为了探讨集群性能，他们说：

由于在[MCMC]链上组件的数量发生了变化，因此需要形成一个混淆矩阵，显示每个数据对在整个链中分配给同一组件的频率，见图6。

缺点：这不是真正的“完整”群集，而是成对群集。该图看起来不错，因为我们知道了真实的簇，并据此安排了矩阵。

（2）DP-GMM + Gibbs采样+采样直到没有任何变化

我一直在搜索，发现有些人声称使用Gibbs采样器基于Dirichlet Process进行聚类。例如，这篇文章认为当聚类数量或均值没有更多变化时，链收敛，因此可以从那里获得汇总。

缺点：我不确定这是否允许，因为如果我没有记错的话：

• （a）在MCMC期间可能会有标签切换。

• （b）即使在固定分布中，采样器也可以不时创建一些簇。

（3）DP-GMM + Gibbs采样+选择最可能划分的采样

在本文中，作者说：

在“老化”阶段之后，可以从Gibbs采样器中提取来自IGMM后分布的无偏样本。可以通过绘制许多此类样本并使用类别指标变量的联合可能性最高的样本来找到硬聚类。我们使用M. Mandel编写的经过修改的IGMM实现。

缺点：除非这是一个折叠的吉布斯采样器，我们仅对分配进行采样，否则我们可以计算而不是边际。（取而代之的是获得具有最高的状态，这是一个好习惯吗？）p （c）p （c，θ $p(\mathbf{c} | \theta)$$p(\mathbf{c})$$p(\mathbf{c}, \theta)$

（4）具有可变推论的DP-GMM：

我已经看到一些库使用变分推理。我不太了解变分推理，但我想您那里没有可识别性问题。但是，我想坚持使用MCMC方法（如果可能）。

任何参考将有所帮助。

我的初步答案是将视为参数，以便p （c，θ ）只是后验模式。我怀疑Niekum和Barto就是这样做的（选项3中引用的论文）。他们对于使用p （c，θ ）还是p （c | θ ）含糊不清的原因是，一个与另一个成正比。$\mathbf{c}$$p(\mathbf{c},\theta)$$p(\mathbf{c}, \theta)$$p(\mathbf{c}|\theta)$

我说这个答案是“暂定”的原因是，我不确定将值指定为“参数”是否只是语义问题，还是存在更多持有博士学位的用户的技术/理论定义？这里将能够阐明。

我只是想分享有关该主题的一些资源，希望其中一些对回答这个问题有所帮助。关于Dirichlet流程（DP）的教程很多，其中包括一些关于使用DP进行集群的教程。它们的范围从“温柔”，像这个演示教程，以更先进的，像这个演示教程。后者是同一教程的更新版本，由Yee Whye Teh在MLSS'07上发表。您可以在此处通过同步幻灯片观看该演讲的视频。谈到视频，您可以在此处观看汤姆·格里菲斯（Tom Griffith）的幻灯片，进行另一个有趣且相关的演讲。关于纸质教程，本教程 是一个不错的，很受欢迎的。

最后，我想分享一些相关的论文。关于分层DP的这篇论文似乎很重要且相关。这同样适用于本文由雷德福尼尔。如果您对主题建模感兴趣，则潜在的Dirichlet分配（LDA）也很可能会出现在您的雷达上。在这种情况下，这篇最近的论文提出了一种新颖且经过改进的LDA方法。关于主题建模领域，我建议阅读David Blei及其合作者的研究论文。本文是介绍性文章，其余内容可在他的研究出版物页面上找到。我意识到，我推荐的一些材料可能对您来说太基础了，但是我认为，通过包括有关该主题的所有内容，我会为您增加找到答案的机会。