您如何使用EM算法为零膨胀泊松模型的潜在变量公式计算MLE？

通过为样本定义零膨胀的Poisson回归模型，并进一步假设参数和满足 $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

零膨胀的Poisson回归模型的对应对数似然为

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

这里， $\mathrm{B}$ 和 $\mathrm{G}$ 是设计矩阵。这些矩阵可以相同，这取决于一个人希望用于两个生成过程的特征。但是，它们具有相同的行数。

假设当来自完美零状态时我们可以观察到，而当来自泊松状态时时，对数似然为 $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$ 前两项是逻辑回归分开的损失从。第二项是对泊松过程产生的点的回归。

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

但是潜在变量不是不可观察的吗？目的是使第一个对数可能性最大化。但是我们必须引入潜在变量并得出新的对数似然性。然后，使用EM算法，我们可以最大化第二个对数似然率。但这假设我们知道或？ $Z_i = 0$ $Z_i = 1$

— 达米安
source

什么是？同样，这个问题的大部分似乎都被@Robby较早的不同问题进行了剪切和粘贴。那是你吗？

f

$f$

— 2012年

@Macro：宏，是的。我不确定是什么。报纸从未说过。

f

$f$

— Damien 2012年

您遇到困难的根源在于：

然后，使用EM算法，我们可以最大化第二个对数似然率。

如您所见，您不能。取而代之的是，您最大化的是第二个对数似然的期望值（称为“完整数据对数似然”），其中期望值接管。 $z_i$

这导致了一个迭代过程，其中在第次迭代中，根据第次迭代的参数估计值，计算的期望值（这称为“ E步骤” “，），然后将其替换为完整的数据对数似然度（请参见下面的EDIT，了解在这种情况下为什么可以这样做），并针对参数最大化该值，以获取当前迭代的估算值（“ M步” ） $k^{th}$ $z_i$ $(k-1)^{th}$

在最简单的情况下，零膨胀的Poisson的完整数据对数似然-两个参数，例如和在进行M步时可以大大简化，这在某种程度上可以延续到您的表格中。我将通过一些R代码向您展示在简单情况下它是如何工作的，因此您可以了解它的本质。我不会尽可能简化，因为当您想到问题时，这可能会导致不清楚： $\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

在你的情况，在每个步骤中，您会做一个加权泊松回归，其中权重1-zhat得到的估计，因此，然后最大化： $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

关于矩阵的系数向量，以获得的估计值。期望值，在每次迭代时再次计算。 $\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

如果要对真实数据执行此操作，而不是仅仅了解算法，则R包已经存在；这是使用该库的示例http://www.ats.ucla.edu/stat/r/dae/zipoisson.htmpscl。

编辑：我应该强调，我们正在做的是使完整数据对数似然性的期望值最大化，而不是在插入缺失数据/潜在变量的期望值时使完整数据对数似然性最大化。完整数据的对数似然在丢失的数据中是线性的，正如这里所说的，这两种方法是相同的，但是在其他方面却不是。

— 鲍伯曼
source

@Cokes，您应该将此信息添加为您自己的补充答案，而不是更改现有答案。此修改不应该被批准。

— gung-恢复莫妮卡