贝叶斯和EM之间的关系

我在某处读到，变分贝叶斯方法是EM算法的概括。确实，算法的迭代部分非常相似。为了测试EM算法是否是Variational Bayes的特殊版本，我尝试了以下方法：

$Y$ 是数据，是潜在变量的集合，是参数。在变分贝叶斯中，我们可以做一个近似，使得。当 s为简单，易于处理的分布。 $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
由于EM算法找到了MAP点估计值，因此我认为，如果我使用Delta函数，则变分贝叶斯可以收敛到EM：。是通常在EM中完成的参数的第一个估计。 $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
当给出，，其最小化的KL发散由公式发现上面的公式简化为，此步骤等效于Expectation步骤EM算法！ $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

但是我不能将“最大化”步骤作为此步骤的延续。在下一步中，我们需要计算，根据变分贝叶斯迭代规则，这是： $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

VB和EM算法是否真的以这种方式连接？我们如何得出EM作为变分贝叶斯的特例，我的方法是正确的吗？

bayesian expectation-maximization variational-bayes

— 乌福坎比西奇
source

您从哪里了解到EM算法找到了MAP估算值？一旦您了解了Neal＆Hinton（1998）在本文中提出的关于EM的观点，变分推理和EM之间的关系将变得清晰。另见我的答案在这里。

— 卢卡斯2014年

我想我以与本文说明相同的方式学习了EM算法，它被视为下界最大化问题。使用詹森的等式和变异演算，人们发现在期望步骤中，是使下界最大化的分布，而在最大化步骤中，人们发现了，这是下限的最大值。因此，这类似于变异贝叶斯。（并且收敛到边缘后验的局部最大值，因此是MAP估计）

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— Ufuk Can Bicici 2014年

抱歉，我没有足够仔细地阅读您的问题。我相信您的最大化步骤仅在允许任何分布的情况下才有效，也就是说，仅在进行分解假设的情况下才有效。但您还假设是增量分布。尝试显式最大化关于的下限，。

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— 卢卡斯2014年

我在演示文稿cs.cmu.edu/~tom/10-702/Zoubin-702.pdf的第21页中找到了EM和VB的比较，这与使用Dirac函数类似。但是没有给出VB如何降低到EM。

— Ufuk Can Bicici 2014年

您的方法是正确的。在的近似后验约束为点质量的约束下，EM等于VB 。（这在贝叶斯数据分析的第337页上没有给出证明。）假设是该点质量的未知位置： VB将最小化以下KL散度：的最小值给出EM的E步，的最小值给出EM的M步。 $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

当然，如果您要实际评估KL差异，那将是无限的。但这不是问题，如果您将delta函数视为一个限制。

— 汤姆·明卡
source

从技术上讲，最大化 wrt对应于MAP-EM的M步（具有先前的）。-VBEM论文的第3.1节

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— 杨艺波