两种高斯混合物之间的距离以评估聚类解

11

我正在运行一个快速仿真以比较不同的群集方法，并且目前遇到了尝试评估群集解决方案的障碍。

我知道各种验证指标（许多在R 中的cluster.stats（）中找到），但是我假设如果估计的集群数量实际上等于集群的真实数量，则最好使用这些验证指标。我想保持一种能力，可以测量在原始模拟中未指定正确数量的聚类解决方案时聚类解决方案的性能（即，模拟为具有4个聚类的三个聚类解决方案模型数据的性能如何）解）。仅作为您的参考，对群集进行模拟以拥有相同的协方差矩阵。

我认为高斯的两种混合之间的KL散度将对实现有用，但是不存在封闭形式的解决方案（Hershey和Olson（2007年）），实现蒙特卡洛模拟的计算开始变得昂贵。

是否还有其他可能易于实现的解决方案（即使只是一个近似值）？

clustering kullback-leibler gaussian-mixture

— 达马丁
source

两种高斯混合物之间的L2距离以封闭形式提供。使用它，您应该已经准备就绪。

我不知道你会怎么做，但对我来说这听起来不是一个好主意。采取混合物，置换组分（p（x）不变），L2距离可以是任意值。同样，在协方差矩阵上L2距离也不是一个好主意。

— 2014年

支持的测试数据集的后验预测概率。我怀疑您需要在k上先验。

— 推测2015年

第一条链接已断开

— ttnphns

6

假设我们在 $\mathbb R^d$ 有两个高斯混合：调用它们的密度和分别与表示其组分的密度，由，。 $\DeclareMathOperator{\N}{\mathcal N} \newcommand{\ud}{\mathrm{d}} \DeclareMathOperator{\E}{\mathbb E} \DeclareMathOperator{\MMD}{\mathrm{MMD}}$

P = \sum_{i = 1}^{n} α_{i} P_{i} = \sum_{i = 1}^{n} α_{i} N (μ_{i}, Σ_{i}) Q = \sum_{j = 1}^{m} β_{j} Q_{j} = \sum_{j = 1}^{m} N (m_{j}, S_{j}) .

$P = \sum_{i=1}^{n} \alpha_i P_i = \sum_{i=1}^n \alpha_i \N(\mu_i, \Sigma_i) \qquad Q = \sum_{j=1}^m \beta_j Q_j = \sum_{j=1}^m \N(m_j, S_j) .$

p (\cdot)

$p(\cdot)$

q (\cdot)

$q(\cdot)$

P_{i}

$P_i$

Q_{j}

$Q_j$

p_{i} (x) = N (x; μ_{i}, Σ_{i})

$p_i(x) = \N(x; \mu_i, \Sigma_i)$

q_{j} (x) = N (x; m_{j}, S_{j})

$q_j(x) = \N(x; m_j, S_j)$

以下距离为封闭形式：

$L_2$ 距离，如user39665的注释中所建议。这是：请注意，例如在矩阵食谱的 8.1.8节中看到的：因此可以在时间轻松评估。
$\begin{aligned} L_{2} (P, Q)^{2} & = \int (p (x) - q (x))^{2} d x \\ = \int {(\sum_{i} α_{i} p_{i} (x) - \sum_{j} β_{j} q_{j} (x))}^{2} d x \\ = \sum_{i, i^{'}} α_{i} α_{i^{'}} \int p_{i} (x) p_{i^{'}} (x) d x + \sum_{j, j^{'}} β_{j} β_{j^{'}} \int q_{j} (x) q_{j^{'}} (x) d x \\ - 2 \sum_{i, j} α_{i} β_{j} \int p_{i} (x) q_{j} (x) d x . \end{aligned}$ $\begin{align} L_2(P, Q)^2 &= \int (p(x) - q(x))^2 \,\ud x \\&= \int \left( \sum_{i} \alpha_i p_i(x) - \sum_j \beta_j q_j(x) \right)^2 \ud x \\&= \sum_{i,i'} \alpha_i \alpha_{i'} \int p_i(x) p_{i'}(x) \ud x + \sum_{j,j'} \beta_j \beta_{j'} \int q_j(x) q_{j'}(x) \ud x \\&\qquad - 2 \sum_{i,j} \alpha_i \beta_j \int p_i(x) q_j(x) \ud x .\end{align}$ $\begin{aligned} \int N (x; μ, Σ) N (x; μ^{'}, Σ^{'}) d x & = N (μ; μ^{'}, Σ + Σ^{'}) \end{aligned}$ $\begin{align} \int \N(x; \mu, \Sigma) \N(x; \mu', \Sigma') \,\ud x &= \N(\mu; \mu', \Sigma + \Sigma') \end{align}$ $O(m n)$
高斯RBF内核的最大平均差异（MMD）。这是一个很酷的距离，在统计界尚不为人所知，它需要一些数学来定义。

令将希尔伯特空间为对应于的再生内核希尔伯特空间：。
$k (x, y) := \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}),$ $k(x, y) := \exp\left( - \frac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right),$ $\mathcal{H}$ $k$

将平均映射内核定义为
$K (P, Q) = E_{X \sim P, Y \sim Q} k (X, Y) = ⟨ E_{X \sim P} φ (X), E_{Y \sim Q} φ (Y) ⟩ .$ $K(P, Q) = \E_{X \sim P, Y \sim Q} k(X, Y) = \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle .$

MMD然后
$\begin{aligned} M M D (P, Q) & = ‖ E_{X \sim P} [φ (X)] - E_{Y \sim Q} [φ (Y)] ‖ \\ = \sqrt{K (P, P) + K (Q, Q) - 2 K (P, Q)} \\ = sup_{f : ‖ f ‖_{H} \leq 1} E_{X \sim P} f (X) - E_{Y \sim Q} f (Y) . \end{aligned}$ $\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert \\&= \sqrt{K(P, P) + K(Q, Q) - 2 K(P, Q)} \\&= \sup_{f : \lVert f \rVert_{\mathcal H} \le 1} \E_{X \sim P} f(X) - \E_{Y \sim Q} f(Y) .\end{align}$

对于我们的混合物和，请注意，类似地，对于和。 $P$ $Q$
$K (P, Q) = \sum_{i, j} α_{i} β_{j} K (P_{i}, Q_{j})$ $K(P, Q) = \sum_{i, j} \alpha_i \beta_j K(P_i, Q_j)$ $K(P, P)$

事实证明，使用与类似的技巧，为 $L_2$ $K(\N(\mu, \Sigma), \N(\mu', \Sigma'))$
$(2 π σ^{2})^{d / 2} N (μ; μ^{'}, Σ + Σ^{'} + σ^{2} I) .$ $(2 \pi \sigma^2)^{d/2} \N(\mu; \mu', \Sigma + \Sigma' + \sigma^2 I) .$

随着，显然这收敛到距离的倍数。但是，通常您希望使用不同的，一个代表数据变化的规模。 $\sigma \to 0$ $L_2$ $\sigma$

MMD中的多项式内核也可以使用封闭形式。看到 $k$

Muandet，Fukumizu，Dinuzzo和Schölkopf（2012）。通过支持测量机从分发中学习。《神经信息处理系统进展》（正式版）。arXiv：1202.6504。

有关此距离的许多不错的属性，请参见

Sriperumbudur，Gretton，Fukumizu，Schölkopf和Lanckriet（2010）。希尔伯特空间嵌入和概率测度度量。机器学习研究杂志，11，1517–1561。arXiv：0907.5309。
二次Jensen-Rényi散度。Rényi-熵定义为它的极限是Shannon熵。Jensen-Rényi散度为其中表示和之间的均等混合。事实证明，当且和为高斯混合（如此处）时，您可以为计算封闭形式。这是由 $\alpha$
$H_{α} (p) = \frac{1}{1 - α} \log (\int p (x)^{α} d x) .$ $H_\alpha(p) = \frac{1}{1-\alpha} \log\left( \int p(x)^\alpha \,\ud x \right) .$ $\alpha \to 1$ ${J R}_{α} (p, q) = H_{α} (\frac{p + q}{2}) - \frac{H_{α} (p) + H_{α} (q)}{2}$ $\mathrm{JR}_\alpha(p, q) = H_\alpha\left( \frac{p + q}{2} \right) - \frac{H_\alpha(p) + H_\alpha(q)}{2}$ $\frac{p + q}{2}$ $p$ $q$ $\alpha = 2$ $P$ $Q$ $\mathrm{JR}_2$

Wang，Syeda-Mahmood，Vemuri，Beymer和Rangarajan（2009）。高斯混合的闭式Jensen-Renyi发散及其在组明智形状配准中的应用。Med Image Comput Comput Assist Interv。，医学杂志12（1），648-655。（免费发布版本）

— 杜加尔
source

0

如果您的聚类实际上不是高斯混合而是任意塑造的，那么当您生成更多的聚类，然后再进行合并时，结果实际上可能会好得多。

在许多情况下，人们只是选择k任意高，例如，对于大型数据集，选择k即可；特别是当您对模型不真正感兴趣，而只是想通过矢量量化来降低数据集的复杂性时。

— 有QUIT--Anony-Mousse
source

我模拟了从高斯混合中得出的聚类，因此我认为我的假设是正确的。此处的目标不是降低复杂度或提出选择k的决策标准，而是当k实际上不正确时比较k聚类对数据建模的程度。一些不正确的选择可能会比其他模型更好地对数据建模，并且我正在尝试通过一些计算来量化这种不匹配程度（例如KL散度，但更容易实现高斯混合）。

— dmartin

0

这是使用Fisher Kernel方法和其他技术将Mahalanobis D泛化为GMM的方法：

小费，迈克尔·E。“从高斯混合模型中得出聚类分析距离函数。” （1999）：815-820。 https://pdfs.semanticscholar.org/08d2/0f55442aeb79edfaaaafa7ad54c513ee1dcb.pdf

另请参阅：马氏距离是否具有多高斯形式？

— 莱纳尔·霍伊特
source