为什么直接在计算上优化高斯混合很难？

考虑混合高斯的对数似然：

$$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$$

我想知道为什么要直接最大化该方程在计算上很困难？我一直在寻找一个清晰的直觉，以了解为什么它应该如此艰难，或者为什么要对其为何如此艰难做出更严格的解释。这个问题是NP完整的，还是我们还不知道如何解决？这是我们诉诸使用EM（期望最大化）算法的原因吗？

---

符号：

$S_n$ =训练数据。

$x^{(t)}$ =数据点。

$\theta$ =一组参数，指定高斯，其均值，标准偏差以及从每个聚类/类/高斯生成点的概率。

$p_i$ =从聚类/类/高斯i生成点的概率。

首先，GMM是用于聚类的一种特殊算法，您尝试在其中找到观测值的最佳标记。具有可能的类，这意味着您的训练数据有可能的标签。对于中等的和值，这已经变得很大。ķ ķ Ñ ķ $n$$k$$k^n$$k$$n$

其次，您要最小化的功能不是凸面的，并且与问题的严重性一起使它变得非常困难。我只知道k均值（GMM可以看作kmeans的软版本）是NP难点。但是我不知道是否也已经为GMM证明了这一点。

若要查看该问题不是凸的，请考虑一维情况： 并检查您是否不能保证d 2

$$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$$ $\frac{d^2L}{dx^2} > 0$所有x的。

遇到非凸问题意味着您可能会陷入局部最小值。通常，您没有凸优化的强大保证，而且寻找解决方案也要困难得多。

除了juampa的要点外，让我指出这些困难：

• $l(\theta|S_n)$$+\infty$$\hat\mu^{(i)}=x_1$$\hat\sigma_i=0$
• $k^n$$l(\theta|S_n)$$\theta$

摘自我的书。

另一点注意：在不调用EM算法的情况下，可以一次使用标准优化算法（如Newton-Raphson）一次使用一个参数，即迭代

• $\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
• $\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
• ...
• $\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

$v$$l(\theta|S_n)$