MCMC什么时候有用？

我在理解MCMC方法在哪种情况下实际有用时遇到了麻烦。我正在阅读Kruschke的书中的一个玩具示例“做贝叶斯数据分析：R和BUGS教程”。

到目前为止，我的理解是我们需要一个与成正比的目标分布， $p(D|\theta)p(\theta)$ 以便获得的样本 $P(\theta|D)$ 。但是，在我看来，一旦我们有了 $p(D|\theta)p(\theta)$ 我们只需要对分布进行归一化就可以得到后验，并且归一化因子很容易在数值上找到。那么在什么情况下不可能呢？

mcmc

— 瓦尔
source

假设

θ

$\theta$ 不是标量，而是具有10000维的矢量。

θ

$\boldsymbol\theta$

— Jan Galkowski

我的回答有点简洁。要获得常数，需要计算。即使在标量情况下，也假设确实很不稳定，因此即使在数值上也很难进行积分。然后，您可能要使用MCMC。

\int_{- \infty}^{\infty} p (D | θ) p (θ)

$\int_{-\infty}^{\infty} p(D|\theta)p(\theta)$

p (D | θ)

$p(D|\theta)$

— Jan Galkowski 2015年

艾伦·索卡（Alan Sokal）提请注意：“蒙特卡洛是一种极其糟糕的方法；只有在所有其他方法都最差的情况下才应使用它”。然后，他开始进行MC方法的漫长讨论。stat.unc.edu/faculty/cji/Sokal.pdf

— Yair Daon

@Yair：在我看来，索卡尔正在引导丘吉尔。

— 2015年

当别无他法的时候……

— kjetil b halvorsen

Answers:

蒙特卡罗积分是数值积分的一种形式，它比例如通过用多项式逼近被积分数的数值积分要有效得多。在高维上尤其如此，其中简单的数值积分技术需要大量的函数求值。要计算归一化常数，我们可以使用重要性抽样， $p(D)$

p (D) = \int \frac{q (θ)}{q (θ)} p (θ) p (D ∣ θ) d θ \approx \frac{1}{N} \sum_{n} w_{n} p (θ_{n}) p (D ∣ θ_{n}),

$p(D) = \int \frac{q(\theta)}{q(\theta)} p(\theta)p(D \mid \theta) \, d\theta \approx \frac{1}{N} \sum_n w_n p(\theta_n)p(D \mid \theta_n),$

其中和是从采样的。注意，我们只需要评估采样点的关节分布。对于正确的，在需要很少样本的意义上，该估计器可能非常有效。在实践中，选择合适的可能很困难，但这是MCMC可以提供帮助的地方！退火重要性抽样（Neal，1998年）将MCMC与重要性抽样结合在一起。 $w_n = 1/q(\theta_n)$ $\theta_n$ $q$ $q$ $q$

MCMC之所以有用的另一个原因是：我们通常甚至对的后验密度都不感兴趣，而是对汇总统计数据和期望值感兴趣，例如， $\theta$

\int p (θ ∣ D) f (θ) d θ .

$\int p(\theta \mid D) f(\theta) \, d\theta.$

知道通常并不意味着我们可以求解该积分，但是样本是估算它的一种非常方便的方法。 $p(D)$

最后，能够评估是某些MCMC方法的要求，但并非所有方法都必须（例如Murray等人，2006年）。 $p(D \mid \theta)p(\theta)$

— 卢卡斯
source

抱歉，但是我仍然不清楚。我的问题是：如果仅乘以我们将获得非规范化pdf。通过运行MCMC，我们获得了一个样本，可以估计未标准化的pdf。如果我们愿意，我们可以将两者标准化。因此，假设我对任何摘要统计数据都不感兴趣，而对后继统计数据感兴趣，为什么我们首先使用MCMC？如您所说，某些MCMC方法不需要计算，因此我不引用它们。据我所知，其中大多数都需要对此进行计算。这些方法的用处是什么？

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

— Vaaal 2015年

运行MCMC时，会从归一化的pdf中获取样本，因此请避免计算归一化常数。这是免费的。

— 西安

@Vaaal：您的假设“可以通过数字轻松找到归一化因子”仅适用于简单的单变量分布。对于高维，归一化通常非常困难。在这种情况下，MCMC仍可用于估计归一化常数（例如，通过退火的重要性采样）。

θ

$\theta$

p (D ∣ θ) p (θ)

$p(D \mid \theta) p(\theta)$

— 卢卡斯

当给定先验和似然性，它们要么不能以封闭形式计算，要么后验分布不是标准类型，直接从此目标向后验分布的蒙特卡罗近似进行模拟是不可行的。一个典型的示例由具有非共轭先验的层次模型组成，例如在BUGS书中找到的那些模型。 $p(\theta)$ $f(x|\theta)$

p (θ | x) \propto p (θ) f (x | θ)

$p(\theta|x)\propto p(\theta)f(x|\theta)$

当参数的尺寸增加到几个单位以上时，诸如接受-拒绝，均匀比率或重要性采样技术之类的间接模拟方法通常会遇到数值和精度难题。 $\theta$

相反，马尔可夫链蒙特卡罗方法更适合于较大的维度，因为它们可以在局部基础上（即在当前值的附近）并且在较少数量的分量（即在子空间）上探索后验分布。例如，Gibbs采样器验证了一次从一维目标进行模拟的想法，即与 the相关联的完整条件分布，从长远来看足以从真实后验实现模拟。 $p(\theta|x)$

马尔可夫链蒙特卡罗方法在某种程度上也具有普遍性，因为诸如Metropolis-Hastings算法之类的算法可正式用于可计算到一个常数的任何后验分布。 $p(\theta|x)$

在无法轻松计算下，存在替代方法，方法是将该分布完成为较大空间中的可管理分布，例如或通过非Markovian方法（例如ABC）。 $p(\theta)f(x|\theta)$

p (θ) f (x | θ) \propto \int g (z | θ, x) p (θ) f (x | θ) d z

$p(\theta)f(x|\theta)\propto \int g(z|\theta,x) p(\theta)f(x|\theta)\text{d}z$

MCMC方法为贝叶斯方法提供了更广泛的影响，正如Alan Gelfand和Adrian Smith在1990年推广该方法所引起的热潮所示。

— 西安
source

链接到“虫子簿”不再起作用。

— HelloWorld 2015年