EM算法练习题


9

这是期中考试的练习题。问题是一个EM算法示例。我在(f)部分遇到了麻烦。我列出了要完成的部分(a)-(e),以防万一我之前弄错了。

令是速率为独立指数随机变量。不幸的是,没有观察到实际的值,我们仅观察值是否落在特定间隔内。令,和 对于。观察到的数据由。X1,,XnθXXG1j=1{Xj<1}G2j=1{1<Xj<2}G3j=1{Xj>2}Ĵ=1个ñG1个ĴG2ĴG3Ĵ

(a)给出观察到的数据可能性:

L(θ|G)=j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=j=1n(1eθ)G1j(eθe2θ)G2j(e2θ)G3Ĵ

(b)给出完整的数据可能性

大号θ|XG=Ĵ=1个ñθË-θXĴG1个ĴθË-θXĴG2ĴθË-θXĴG3Ĵ

(c)推导潜在变量的预测密度FXĴ|Gθ

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d)电子步。给出函数Q(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log1个-Ë-θ+2θñ3

其中ñ1个=Ĵ=1个ñG1个Ĵñ2=Ĵ=1个ñG2Ĵñ3=Ĵ=1个ñG3Ĵ

(E)给出表达式对于。Ë[XĴ|G[RĴ=1个θ一世]r=1,2,3

我将列出我非常确定是正确的结果,但是对于这个已经迫在眉睫的问题,推导将有些长:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

这是我坚持的部分,可能是由于先前的错误:

(f)M步。找到最大化θQ(θ,θi)

根据总期望定律,我们有 THEREFORE[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3=nlogθθnθiN1log(1eθ)+θN2N2log(1eθ)+2θN3Q(θ,θi)θ=nθnθi(N1+N2)eθ1eθ+N2+2N3

接下来,我应该将此值设置为零并求解,但是我已经尝试了很长时间,而且似乎无法求解!θθ


我解释作为的权力一分钟。最令人困惑。通常,将迭代次数(步数)放在方括号或括号以免与第幂混淆。可能最好至少说出问题所在(假设我现在正确了)。θiθ[i](i)θ(i)iθi
Glen_b-恢复莫妮卡2014年

1
是的幽谷,比较遗憾的是,它的确是的EM算法的迭代次。i
bdeonovic 2014年

Answers:


5

完整的数据可能性不应该包含G!它应该简单地的可能性当的是指数。请注意,您编写的完整数据似然度简化为指数似然度,因为只有一个可以为1。但是,将保留为完整数据似然度,会在以后给您带来混乱。 θXGrjG

在(d)部分中,应该考虑完整数据记录似然性的期望,而不是观察到的数据记录似然性的期望。

另外,您不应该使用总期望法则!回想一下,观察到G且它不是随机的,因此您应该仅对每个执行那些条件式期望之一。只需用术语代替此条件期望,然后执行M步。XjXj(i)


@Benjamin怎么样了?我能帮助您了解如何做吗?
jsk 2014年

感谢您的评论@jsk。昨晚我很累,所以上床睡觉了,但是早餐后今天早上我会再解决这个问题:)
bdeonovic

我想我已经知道了!再次感谢你!这实际上是为今天的决赛做准备,因此它确实有助于弄清有关EM的一些信息。
bdeonovic

别客气。希望您的决赛今天顺利!
jsk

4

基于@jsk的评论,我将尝试纠正我的错误:

L(θ|X,G)=j=1nθeθxj

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]=nlogθθ(j=1ng1j1eθi)(1θieθi(1+1/θi))θ(j=1ng2jeθi(1eθi))(eθi(1+1/θi)e2θi(2+1/θi))θ(j=1ng3je2θi)(e2θi(2+1/θi))=nlogθθN1AθN2BθN3CQ(θ,θi)θ=nθN1AN2BN3C=set0

求解我们得到θθ(i+1)=nN1A+N2B+N3C

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.