EM，有一个直观的解释吗？

EM程序对初学者来说或多或少是黑魔法。使用监督数据估计HMM的参数（例如）。然后解码未加标签的数据，使用向前或向后“计数”事件，就好像该数据已被加标签一样。为什么这会使模型更好？我确实对数学有所了解，但我一直希望对数学有所了解。

expectation-maximization intuition

— bmargulies
source

我不确定，但我认为有可能将其解释为一种梯度梯度下降优化过程。我会考虑的...

— 罗宾吉拉德

只是为了保存一些键入内容，请调用观测数据，缺失数据（例如HMM的隐藏状态）以及我们试图找到的参数向量（例如过渡/发射概率）。 $X$ $Z$ $Q$

直观的解释是，我们基本上作弊，假装我们知道因此我们可以找到Z的条件分布，这反过来又使我们能够找到的MLE （暂时忽略了我们基本上在做循环的事实论点），然后承认我们作弊，为新的更好的值，然后再做一次，直到我们不再作弊为止。 $Q$ $Q$ $Q$

从技术上讲，通过假装我们知道实际值，可以假装我们对的条件分布有所了解，它使我们可以改善对的估计，现在我们假装为的实际值，因此我们可以假装对的条件分布有所了解，这使我们可以改善对的估计，以此类推。 $Q$ $Z|\{X,Q\}$ $Q$ $Q$ $Z|\{X,Q\}$ $Q$

从技术上讲，如果我们知道，就可以使最大化并得到正确的答案。问题是我们不知道，并且对任何估计都必须依赖它。但是，如果我们想找到最好的估计（或分布），那么我们需要知道和。如果我们需要独特的最大化器，我们就会陷入困境。 $Z$ $\log(f(Q|X,Z))$ $Z$ $Q$ $Z$ $X$ $Q$

我们的“输出”是-对于任何估计（称为）-我们都可以找到的分布。，因此我们可以使期望联合对数似然性最大化关于的条件分布。该条件分布基本上告诉我们如何取决于给定的的当前值 $Q$ $Q_n$ $Z|\{Q_n,X\}$ $Q|\{X,Z\}$ $Z|\{Q_n,X\}$ $Z$ $Q$ $X$ ，并让我们知道如何更改以针对特定的值（我们称为）同时增加和可能性。选出新的，我们将得到的不同条件分布。，因此必须重新计算期望值。 $Q$ $Q$ $Z$ $Q$ $Q_n$ $Q_{n+1}$ $Z|\{Q_{n+1}, X\}$

— 丰富
source