Answers:
从:
Xu L和Jordan Jordan MI(1996)。 高斯混合EM算法的收敛性。神经计算 2:129-151。
抽象:
我们证明了参数空间中的EM阶跃是通过投影矩阵P从梯度获得的,并且为矩阵提供了一个明确的表达式。
第2页
特别地,我们表明,可以通过将梯度与正的树突矩阵预乘来获得EM步骤。我们为矩阵提供一个明确的表达式...
第3页
也就是说,EM算法可以看作是可变度量梯度上升算法...
这就是说,本文提供了将EM算法显式转换为梯度上升,牛顿,拟牛顿的方法。
来自维基百科
还有其他一些方法可以找到最大似然估计,例如梯度下降,共轭梯度或高斯-牛顿法的变化。与EM不同,此类方法通常需要评估似然函数的一阶和/或二阶导数。
不,它们不是等效的。尤其是,EM收敛要慢得多。
如果您对EM的优化观点感兴趣,请访问 本文中您将看到EM算法是更广泛的算法类别(近点算法)的特例。