具有二元混合物分布的EM算法的收敛

我有一个混合模型，我想要找到给定一组数据$x$和一组部分观测数据的最大似然估计量$z$。我已经实现两个E-步骤（计算的期望$z$给定$x$和电流参数$\theta^k$），和M-步骤，以减少给定的期望的负对数似然$z$。

据我了解，每次迭代的最大可能性都在增加，这意味着负对数似然性必须在每次迭代中都在减少吗？但是，正如我所进行的迭代，该算法实际上并未产生负对数似然率的递减值。相反，它可能同时在减少和增加。例如，这是直到收敛的负对数似然的值：

我在这里误解了吗？

另外，对于模拟数据，当我对真正的潜在变量（未观察到）执行最大似然法时，我的拟合度非常接近，表明没有编程错误。对于EM算法，它通常收敛到明显次优的解决方案，尤其是对于特定参数子集（即，分类变量的比例）。众所周知，该算法可以收敛到局部最小值或固定点，是否有常规的搜索试探法或同样地增加了找到全局最小值（或最大值）的可能性。对于这个特殊的问题，我相信会有很多未命中类别，因为对于双变量混合，两个分布之一采用概率为1的值（这是生命周期的混合，其中通过其中， z表示属于任一分布。指标 z当然在数据集中被检查。 $T=z T_0 + (1-z)\infty$$z$$z$

我从理论解开始添加了第二个数字（应该接近最优值）。但是，可以看出，可能性和参数从该解决方案变为明显较差的解决方案。

$\mathbf{x_i}=(t_i,\delta_i,L_i,\tau_i,z_i)$$t_i$$i$$\delta_i$$L_i$$\tau_i$$z_i$是观测值所属人群的指标（由于其二元变量，我们只需要考虑0和1）。

$z=1$$f_z(t)=f(t|z=1)$$S_z(t)=S(t|z=1)$$z=0$$t$$\inf$$f(t|z=0)=0$和。这还会产生以下完整的混合物分布：$S(t|z=0)=1$

$f(t) = \sum_{i=0}^{1}p_if(t|z=i) = pf(t|z=1)$和 $S(t) = 1 - p + pS_z(t)$

我们继续定义可能性的一般形式：

$L(\theta;\mathbf{x_i}) = \Pi_i \frac{f(t_i;\theta)^{\delta_i}S(t_i;\theta)^{1-\delta_i}}{S(L_i)^{\tau_i}}$

现在，当，只能部分观察到，否则未知。完全可能性变为$z$$\delta=1$

$L(\theta,p;\mathbf{x_i}) = \Pi_i \frac{\big((p f_z(t_i;\theta))^{z_i}\big)^{\delta_i}\big((1-p)^{(1-z_i)}(p S_z(t_i;\theta))^{z_i}\big)^{1-\delta_i}}{\big((1-p)^{(1-z_i)}(p S_z(L_i;\theta))^{z_i}\big)^{\tau_i}}$

其中是相应分布的权重（可能通过某些链接函数与某些协变量及其各自的系数相关联）。在大多数文献中，这简化为以下对数似然$p$

$\sum \Big( z_i \ln(p) + (1-p) \ln(1-p) - \tau_i\big(z_i \ln(p) + (1-z_i)\ln(1-p)\big) + \delta_i z_i f_z(t_i;\theta) + (1-\delta_i) z_i S_z(t_i;\theta) - \tau_i S_z(L_i;\theta)\Big)$

对于M步，此功能被最大化，尽管不是全部采用1种最大化方法。取而代之的是，我们不能将其分为。$l(\theta,p; \cdot) = l_1(\theta,\cdot) + l_2(p,\cdot)$

对于第k：th + 1个E步，我们必须找到（部分）未观察到的潜在变量。我们使用这样的事实：，则。$z_i$$\delta=1$$z=1$

$E(z_i|\mathbf{x_i},\theta^{(k)},p^{(k)}) = \delta_i + (1-\delta_i) P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})$

在这里，我们有$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i}) =\frac{P(\mathbf{x_i};\theta^{(k)},p^{(k)}|z_i=1)P(z_i=1;\theta^{(k)},p^{(k)})}{P(\mathbf{x_i};\theta^{(k)},p^{(k)})}$

这给了我们$P(z_i=1;\theta^{(k)},p^{(k)}|\mathbf{x_i})=\frac{pS_z(t_i;\theta^{(k)})}{1 - p + pS_z(t_i;\theta^{(k)})}$

（请注意，，因此没有观察到的事件，因此数据的概率由尾分布函数给出。$\delta_i=0$$\mathbf{x_i}$

EM的目标是最大化观察到的数据对数似然性，

$$l(\theta) = \sum_i \ln \left[ \sum_{z} p(x_i, z| \theta) \right]$$

不幸的是，这往往很难针对进行优化。相反，EM反复形成并最大化辅助功能$\theta$

$$Q(\theta , \theta^t) = \mathbb{E}_{z|\theta^t} \left (\sum_i \ln p(x_i, z_i| \theta) \right)$$

如果最大化，则EM保证$\theta^{t+1}$$Q(\theta, \theta^t)$

$$l(\theta^{t+1}) \geq Q(\theta^{t+1}, \theta^t) \geq Q(\theta^t, \theta^t) = l(\theta^t)$$

如果您想确切地知道为什么会这样，墨菲的《机器学习：概率论》的第11.4.7节提供了很好的解释。如果您的实施不符合这些不平等，你犯了一个错误的地方。说像

我非常接近完美，表明没有编程错误

是危险的。借助大量的优化和学习算法，很容易犯错误，但大多数时候仍能获得外观正确的答案。我喜欢的直觉是这些算法旨在处理混乱的数据，因此它们也能很好地处理错误也就不足为奇了！

---

在问题的另一半，

是否有常规的搜索试探法或同样会增加找到全局最小值（或最大值）的可能性

随机重启是最简单的方法。下一个最简单的方法可能是对初始参数进行模拟退火。我还听说过EM的一种变种，即确定性退火，但是我个人没有使用过它，因此无法告诉您太多有关它的信息。