从纸上帮助期望最大化：如何包括事先分配？

该问题基于题为：使用耦合的辐射传输-扩散模型的漫射光学层析成像中的图像重建

作者应用具有未知向量稀疏正则化的EM算法来估计图像的像素。该模型由 $l_1$ $\mu$

\begin{matrix} （1） & ÿ = 一个 μ + Ë \end{matrix}

$y=A\mu + e \tag{1}$ 估算值在等式（8）中给出为

\begin{matrix} （2） & \hat{μ} = 精氨酸 米 一个 X \ln p （ ÿ | μ ） + γ \ln p （ μ ） \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

在我的情况下，我已经将视为长度为的过滤器，而是代表过滤器的向量。所以， $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

该模型可以重写为

\begin{matrix} （3） & ÿ （ ñ ） = μ^{Ť} 一个 （ ñ ） + v （ ñ ） \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

问题：问题公式：（n乘以1）是未观察到的输入，是零均值，方差未知加性噪声。MLE解决方案将基于期望最大化（EM）。 ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

在本文中，方程（19）是函数-完整的对数似然性，但是对于我而言，我不理解如何在完整的对数似然表达式中包含的分布。 $A$ $A, \mu$

使用 EM（包括先验分布）的完全对数似然是什么？ $y$

— 斯凯姆
source

您实际上是想要对数似然还是对数后验？只有后者将包括拉普拉斯先验。前者可以通过记录似然性的对数来获得，似乎您已经写出了它

我想要两个表达式-（1）一个用于查找Fisher信息矩阵的表达式，另一个（2）将是完整数据集的pdf，其中包括隐藏变量

和遵守情况的联合观测数据的概率密度随参数

。我编写的pdf适用于MA模型，用于

盲估计。但是，稀疏约束= Laplacian先验有何不同，以便可以从对数似然的偏导数中找到Fisher信息矩阵。

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@西安：我不明白如何插入3个pdf文件，其中包括对数似然公式中的先验。我可以计算出最大化，即取偏导数并等于零。你能用明确写出的似然表达式提出一个答案。这确实有帮助

— SKM

Answers:

如果我们考虑目标为在EM的基础上，表示是

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ ）

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

对于任意

，由于分解的

或

日志 大号 （ θ | X ） = Ë [日志 大号 （ θ | X ， ž ） | X ， θ ⁰] - Ë [日志 q （ ž | X ， θ ） | X ， θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q （ ž | X ， θ ） = F （ X ， ž | θ ） / G （ X | θ ）

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

对

的任意值有效（因为lhs上没有），因此也适用于

任何期望：

G （ X | θ ） = F （ X ， ž | θ ） / q （ ž | X ， θ ）

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

为任何条件分布

给出

，例如

。因此，如果我们最大限度地

日志 G （ X | θ ） = 日志 F （ X ， ž | θ ） - 日志 q （ ž | X ， θ ） = Ë [日志 F （ X ， ž | θ ） - 日志 q （ ž | X ， θ ） | X]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

与溶液

，我们有

Ë [日志 大号 （ θ | X ， ž ） | X ， θ ⁰] + 日志 π （ θ ）

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

而

由EM的标准参数。因此，

Ë [日志 大号 （ θ^{1个} | X ， ž ） | X ， θ ⁰] + 日志 π （ θ^{1个} ） \geq Ë [日志 大号 （ θ ⁰ | X ， ž ） | X ， θ ⁰] + 日志 π （ θ ⁰ ）

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

Ë [日志 q （ ž | X ， θ ⁰ ） | X ， θ ⁰] \geq Ë [日志 q （ ž | X ， θ^{1个} ） | X ， θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

，并使用一个E步骤目标

Ë [日志 大号 （ θ^{1个} | X ， ž ） | X ， θ ⁰] + 日志 π （ θ^{1个} ） \geq Ë [日志 大号 （ θ ⁰ | X ， ž ） | X ， θ ⁰] + 日志 π （ θ ⁰ ）

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

导致每M步的后验概率增加，这意味着改进的EM算法收敛到局部MAP。

Ë [日志 大号 （ θ | X ， ž ） | X ， θ ⁰] + 日志 π （ θ ）

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— 西安
source

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

我添加了一些解释，但是您应该在教科书中检查EM算法的派生，因为这是标准材料。

— 西安

我认为显示单调递增的对数后验（或MLE的对数似然）不足以表明收敛至MAP估计值（或MLE）的固定点。例如，增量可以任意变小。在吴1983年的一篇著名论文中，下界函数的两个参数都具有可微性。

— 吉姆
source