期望最大化澄清

我发现有关EM算法的非常有用的教程。

该示例和教程中的图片简直太棒了。

有关计算概率的相关问题，期望最大化如何工作？

关于如何将教程中描述的理论与示例联系起来，我还有另一个问题。

在E步中，EM选择一个函数，该函数所有位置下限，并且为此。$g_t$$\log P(x;\Theta)$$g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

因此，在我们的示例中，看起来像每次迭代都应该有所不同。$g_t$

另外，在示例中和然后将它们应用于数据，我们得出和。对我来说，这看起来很不直观。我们有一些先前的假设，将其应用于数据并获得新的假设，因此数据以某种方式改变了这些假设。我不明白为什么不等于。$\hat{\Theta}_A^{(0)} = 0.6$$\hat{\Theta}_B^{(0)} = 0.5$$\hat{\Theta}_A^{(1)} = 0.71$$\hat{\Theta}_B^{(1)} = 0.58$$\hat{\Theta}^{(0)}$$\hat{\Theta}^{(1)}$

此外，当您看到本教程的补充说明1时，还会出现更多问题。例如，在我们的案例中，是什么。我不清楚，为什么当时，不等式变得很紧$Q(z)$$Q(z)=P(z|x;\Theta)$

谢谢。

我发现这些说明对弄清补充材料中的内容很有帮助。

我会不连续地回答这些问题。

---

第一：为什么

$\theta^{(0)} \ne \theta^{(1)}$

原因是我们的函数被选择为保证它小于或等于，其中2入射到我们最初的猜测。如果我们的先前假设是完美的初始猜测，那么您将是正确的，将保持不变。但是我们可以在创建的函数找到更高的值，因此可以保证我们对参数的下一次迭代比原始函数更有可能。$g_0$$\log(P(x;\theta))$$\theta^{(0)}$$\theta^{(1)}$$g_0$$\theta$

---

第二：为什么不平等在什么时候紧缩

$$Q(z) = P(z|x;\theta)$$

脚注中对此有一个提示：

当且仅当随机变量以概率1为常数（即）时，等式成立$y=E[y]$

暗示我们对的选择使不变。要看到这一点，请考虑：$Q$$\frac{P(x, z; \theta)}{Q(z)}$

$$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$$

这使得我们的分数

$$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$$

那么是什么，它是常数吗？好吧，请考虑我们正在计算的总和，对于该总和，该项是独立的（常数）。让我们将其表示为，该等式变为：$P(x; \theta)$$z$$C$

$$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$$

从这里我们可以很快看到两边相等，因为无论权重（），一个常数的期望都是该常数$Q(z)$

---

最后：什么是$g_t$

我链接的注释中给出的答案与补充注释中的答案稍有不同，但是它们的区别仅在于一个常数，我们将其最大化，因此没有意义。注释中的一个（含推导）为：

$$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$$

补充说明中没有详细讨论这个复杂的公式，可能是因为其中很多术语都是常量，当我们最大化时这些常量会被丢弃。如果您首先对我们的到达方式感兴趣，我建议您链接我的注释。

使用与第二个问题的答案中类似的论点，对于，对数中的项等于1，因此总和项消失而。$g_t(\theta^{(t)})$$g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$