为什么要使用期望最大化算法？

据我所知，当将似然性参数的偏导数设为零时，可以使用EM算法找到最大似然性，从而给出了一组无法解析求解的方程。但是需要EM算法来代替使用某种数值技术来尝试针对所提及的方程组的约束找到最大可能性。

问题是合法的，当我第一次学习EM算法时，我也感到困惑。

概括而言，EM算法定义了一个迭代过程，该过程允许在模型的某些变量（或被视为）“潜在”或未知的情况下最大化参数模型的似然函数。

从理论上讲，出于相同的目的，您可以使用最小化算法从数值上找到所有参数的似然函数的最大值。但是，在实际情况下，此最小化应为：

1. 计算量大得多
2. 不够坚固

EM方法的一个非常普遍的应用是拟合混合模型。在这种情况下，将将每个样本分配给组件之一的变量视为“潜在”变量，可以大大简化问题。

让我们来看一个例子。我们从2个正态分布的混合中提取了N个样本。要查找没有EM的参数，我们应该最小化：$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

相反，使用EM算法，我们首先将每个样本“分配”给一个组件（E步），然后分别拟合（或最大化每个组件的可能性）（M步）。在此示例中，M步只是找到和的加权均值。迭代这两个步骤是最小化的更简单，更可靠的方法。σ ķ - 日志大号（X ，θ $\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

不需要EM而不是使用某种数值技术，因为EM也是一种数值方法。因此，它不能替代牛顿-拉夫森。当数据矩阵中缺少值时，EM适用于特定情况。考虑具有条件密度的样本。那么它的对数似然为 现在假设您没有一个完整的数据集，使得由观察到的数据组成和缺失的（或潜在的）变量，使得。然后，观察数据的对数似然为 ˚F X | Θ（x | θ ）l （θ ; X ）= l o g f X | Θ（X | θ ）X Ý （我））= È θ （我） [ 升（θ ; X |$X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$X = （Ý ，Ž ）升Ô b 小号（θ ，ÿ ）= 升Ô 克∫ ˚F X | Θ（ÿ ，Ž | θ ）ν Ž（d Ž ）升Ô b 小号（θ ，Ý ）我（我+ 1 ）吨ħ Q （θ | $Z$$X=(Y,Z)$ $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ 通常，您不能直接计算此积分，也不会得到的闭式解。为此，请使用EM方法。有两个步骤重复了次。在此步骤中，这些是期望步骤，您可以在其中计算 其中是的估计在。步骤然后计算最大化步骤在其中最大限度地提高关于和set$l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$。然后，您重复这些步骤，直到方法收敛到某个值，这将是您的估计值。

如果您需要有关该方法，其属性，证明或应用程序的更多信息，请仅查看相应的Wiki文章。

之所以使用EM，是因为直接计算模型参数通常是不可行或不可能的，这种方法可以最大程度地提高给定模型的数据集的概率。