这是期中考试的练习题。问题是一个EM算法示例。我在(f)部分遇到了麻烦。我列出了要完成的部分(a)-(e),以防万一我之前弄错了。
令是速率为独立指数随机变量。不幸的是,没有观察到实际的值,我们仅观察值是否落在特定间隔内。令,和 对于。观察到的数据由。X1,…,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2}G3j=1{Xj>2}j = 1 ,… ,n(G1 Ĵ,G2 Ĵ,G3 Ĵ)
(a)给出观察到的数据可能性:
L (θ | G )=∏j = 1ñ镨{XĴ< 1 }G1 Ĵ镨{ 1 <XĴ< 2 }G2 Ĵ镨{XĴ> 2 }G3 Ĵ=∏j = 1ñ(1−e−θ)G1j(e−θ−e−2θ)G2j(e−2θ)G3j
(b)给出完整的数据可能性
L (θ | X,G )=∏j = 1ñ( θË- θXĴ)G1 Ĵ( θË- θXĴ)G2 Ĵ( θË- θXĴ)G3 Ĵ
(c)推导潜在变量的预测密度F(XĴ| G,θ)
F(XĴ| G,θ)=FX,G(XĴ,g ^)FG(克)=θË- θXĴ1 {XĴ∈ 区域r st G[R Ĵ= 1 }( 1 -Ë- θ)G1 Ĵ(Ë- θ-Ë−2θ)g2j(e−2θ)g3j
(d)电子步。给出函数Q(θ,θi)
Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ−e−2θ)−N3loge−2θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)−N2log(e−θ(1−e−θ))+2θN3=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3
其中ñ1个=∑ñj = 1G1 Ĵ,ñ2=∑ñj = 1G2 Ĵ,ñ3=∑ñj = 1G3 Ĵ
(E)给出表达式对于。E [XĴ|G[R Ĵ= 1 ,θ一世]r=1,2,3
我将列出我非常确定是正确的结果,但是对于这个已经迫在眉睫的问题,推导将有些长:
E[Xj|G1j=1,θi]E[Xj|G2j=1,θi]E[Xj|G3j=1,θi]=(11−e−θi)(1θi−e−θi(1+1/θi))=(1e−θi−e−2θi)(e−θi(1+1/θi)−e−2θi(2+1/θi))=(1e−2θi)(e−2θi(2+1/θi))
这是我坚持的部分,可能是由于先前的错误:
(f)M步。找到最大化θQ(θ,θi)
根据总期望定律,我们有
THEREFORE[Xj|G,θi]=(1θi−e−θi(1+1/θi))+(e−θi(1+1/θi)−e−2θi(2+1/θi))+(e−2θi(2+1/θi))=1/θi
Q(θ,θi)∂Q(θ,θi)∂θ=nlogθ−θ∑j=1nE[Xj|G,θi]−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nlogθ−θnθi−N1log(1−e−θ)+θN2−N2log(1−e−θ)+2θN3=nθ−nθi−(N1+N2)e−θ1−e−θ+N2+2N3
接下来,我应该将此值设置为零并求解,但是我已经尝试了很长时间,而且似乎无法求解!θθ