从纸上帮助期望最大化:如何包括事先分配?


9

该问题基于题为:使用耦合的辐射传输-扩散模型的漫射光学层析成像中的图像重建

下载链接

作者应用具有未知向量稀疏正则化的EM算法来估计图像的像素。该模型由 μ1个μ

(1)ÿ=一个μ+Ë
估算值在等式(8)中给出为

(2)μ^=精氨酸一个Xlnpÿ|μ+γlnpμ

在我的情况下,我已经将视为长度为的过滤器,而是代表过滤器的向量。所以,大号μ大号× 1μ大号μ大号×1个

该模型可以重写为

(3)ÿñ=μŤ一个ñ+vñ

问题:问题公式:(n乘以1)是未观察到的输入,是零均值,方差未知加性噪声。MLE解决方案将基于期望最大化(EM)。 { È Ñ } σ 2 ëμ(n){e(n)}σe2

在本文中,方程(19)是函数-完整的对数似然性,但是对于我而言,我不理解如何在完整的对数似然表达式中包含的分布。 μAA,μ

使用 EM(包括先验分布)的完全对数似然是什么?y


您实际上是想要对数似然还是对数后验?只有后者将包括拉普拉斯先验。前者可以通过记录似然性的对数来获得,似乎您已经写出了它

我想要两个表达式-(1)一个用于查找Fisher信息矩阵的表达式,另一个(2)将是完整数据集的pdf,其中包括隐藏变量和遵守情况的联合观测数据的概率密度随参数θ的变化。我编写的pdf适用于MA模型,用于θ的盲估计。但是,稀疏约束= Laplacian先验有何不同,以便可以从对数似然的偏导数中找到Fisher信息矩阵。Zθθ
SKM

@西安:我不明白如何插入3个pdf文件,其中包括对数似然公式中的先验。我可以计算出最大化,即取偏导数并等于零。你能用明确写出的似然表达式提出一个答案。这确实有帮助
SKM

Answers:


3

如果我们考虑目标为 在EM的基础上,表示是 日志大号θ | X = E [ log L θ | x Z | X θ

argmaxθL(θ|x)π(θ)=argmaxθlogL(θ|x)+logπ(θ
对于任意 θ ,由于分解的 q Ž | X θ = ˚F X Ž | θ /X | θ X | θ = ˚F
日志大号θ|X=Ë[日志大号θ|Xž|Xθ]-Ë[日志qž|Xθ|Xθ]
θ
qž|Xθ=FXž|θ/GX|θ
z的任意值有效(因为lhs上没有),因此也适用于 Z中的任何期望: log g x | θ = log f x z | θ log q z | x θ = E [ log
GX|θ=FXž|θ/qž|Xθ
žž为任何条件分布 Ž给出 X = X,例如 q Ž | X θ 。因此,如果我们最大限度地 θ é [ 日志大号θ | X Z ^ | X θ
日志GX|θ=日志FXž|θ-日志qž|Xθ=Ë[日志FXž|θ-日志qž|Xθ|X]
žX=Xqž|Xθθ 与溶液 θ 1,我们有 Ë [ 日志大号θ 1 | X Ž | X θ ] + 日志π θ 1Ë [ 日志大号θ | X Ž | X θ ] + 日志π
Ë[日志大号θ|Xž|Xθ]+日志πθ
θ1个 È [ 日志q Ž | X θ | X θ ] ë [ 日志q Ž | X θ 1| X θ ] 由EM的标准参数。因此, ë [ 日志大号θ 1 | X Ž | X
Ë[日志大号θ1个|Xž|Xθ]+日志πθ1个Ë[日志大号θ|Xž|Xθ]+日志πθ
Ë[日志qž|Xθ|Xθ]Ë[日志qž|Xθ1个|Xθ]
,并使用一个E步骤目标 ë [ 日志大号θ | X Ž | X θ ] + 日志π
Ë[日志大号θ1个|Xž|Xθ]+日志πθ1个Ë[日志大号θ|Xž|Xθ]+日志πθ
导致每M步的后验概率增加,这意味着改进的EM算法收敛到局部MAP。
Ë[日志大号θ|Xž|Xθ]+日志πθ

qžË[ØGq]

我添加了一些解释,但是您应该在教科书中检查EM算法的派生,因为这是标准材料。
西安

1

我认为显示单调递增的对数后验(或MLE的对数似然)不足以表明收敛至MAP估计值(或MLE)的固定点。例如,增量可以任意变小。在吴1983年的一篇著名论文中,下界函数的两个参数都具有可微性。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.