为什么EM算法必须是迭代的？

假设您有一个具有单位的总体，每个单位都有一个随机变量。对于任何单位，您都会观察到值。我们想要一个的估计。 $N$ $X_i \sim \text{Poisson}(\lambda)$ $n = N-n_0$ $X_i > 0$ $\lambda$

有矩的方法和有条件的最大似然方法来获得答案，但是我想尝试EM算法。我得到的EM算法是

问 （ λ_{- 1个} ， λ ） = λ （ ñ + \frac{ñ}{经验值 （ λ_{- 1个} ） - 1个} ） + 日志 （ λ ） \sum_{一世 = 1个}^{ñ} X_{一世} + ķ ，

$Q\left(\lambda_{-1}, \lambda\right) = \lambda \left(n + \frac{n}{\text{exp}(\lambda_{-1}) - 1}\right) + \log(\lambda)\sum_{i=1}^n{x_i} + K,$ 其中

- 1

$-1$ 下标表示算法先前迭代的值，

K

$K$ 相对于参数。（我实际上认为括号中的小数中的

n

$n$ 应该为

n + 1

$n+1$ ，但这似乎并不准确；这是另一个问题）。

为了具体说明，假设 $n=10$ ， $\sum{x_i} = 20$ 。当然， $N$ 和 $n_0$ 是不可观察的，并且 $\lambda$ 将被估计。

当我迭代以下函数时，插入上一个迭代的最大值，就可以得出正确的答案（已通过CML，MOM和简单的仿真验证）：

EmFunc <- function(lambda, lambda0){
  -lambda * (10 + 10 / (exp(lambda0) - 1)) + 20 * log(lambda)
}

lambda0 <- 2
lambda  <- 1

while(abs(lambda - lambda0) > 0.0001){
  lambda0 <- lambda
  iter    <- optimize(EmFunc, lambda0 = lambda0, c(0,4), maximum = TRUE)
  lambda  <- iter$maximum
}

> iter
$maximum
[1] 1.593573

$objective
[1] -10.68045

但这是一个简单的问题。让我们最大化而不迭代：

MaxFunc <- function(lambda){
  -lambda * (10 + 10 / (exp(lambda) - 1)) + 20 * log(lambda)
}

optimize(MaxFunc, c(0,4), maximum = TRUE)
$maximum
[1] 2.393027

$objective
[1] -8.884968

该函数的值高于非迭代过程，并且结果与其他方法不一致。为什么第二步给出一个不同的答案（我认为是错误的答案）？

expectation-maximization

— 查理
source

当您找到EM算法的目标函数时，我假设您将的单位数（我称为）作为潜在参数。在这种情况下，我（再次）假设表示期望值相对于给定的简化形式。这是不一样的充满可能性，因为那是给出treadted。 $x_i=0$ $y$ $Q$ $y$ $\lambda_{-1}$ $\lambda_{-1}$

因此，您不能将用作全似然，因为它不包含有关更改如何改变分布的信息（并且当您使全似然最大化时，也要选择的最可能值）。这就是为什么零截断的Poisson的最大最大似然不同于函数的原因，并且为什么当最大化时会得到不同的（并且不正确的）答案。 $Q$ $\lambda$ $y$ $y$ $Q$ $f(\lambda)=Q(\lambda,\lambda)$

从数值上讲，最大化必然会导致目标函数至少与您的EM结果一样大，并且可能更大，因为无法保证EM算法将收敛到的最大值-它仅应收敛于最大似然函数！ $f(\lambda)$ $f$

— 杰克
source