使用MAP估算参数时为何需要MCMC

给定用于参数的MAP估计的公式为什么需要MCMC（或类似方法），我不能仅采用导数，将其设置为零然后求解参数吗？

bayesian estimation mcmc

— 达努
source

好问题！

Answers:

如果您知道您的后代来自哪个家庭，并且找到该分布的导数在分析上是可行的，那是正确的。

但是，当您使用MCMC时，您可能不会遇到这种情况。MCMC 适用于您对后部外观没有清晰分析概念的情况。

— 克里斯多夫·汉克
source

我认为这有点误导：MCMC通常不用于查找MAP估计量（除了特殊情况（例如MCEM算法）。

— Cliff AB

我原则上不反对你。但是，MCMC可以并且用于模拟后验分布。完成此操作后，您肯定可以找到该分布的模式，也就是MAP。我认为这是OP的初衷，所以我不太确定为什么我的回答会引起误解。

— 克里斯多夫·汉克

是的，但是，如果没有分析方法来优化参数，MCMC是处理MAP时的首选方法吗？

— 达努

我从未听说过使用简单的MCMC来找到后验分布的模式（从技术上讲，可以做到这一点，但这效率极低）。由于我们通常可以评估与后验分布成正比的函数，因此，最大化此等价于最大化后验分布。开箱即用的优化程序将与任何频繁发生的可能性问题一样有效（也就是说，有时您需要对其进行专门化处理）。

— Cliff AB

@Dänu您可能不想使用MCMC（要成为时髦的马尔可夫链）来找到最大值。优化算法应该更好地工作。

— jtobin 2015年

事实证明，大多数后验者都很难进行解析优化（即通过采用梯度并将其设置为零），并且您需要借助一些数值优化算法来进行MAP。

顺便说一句：MCMC与MAP无关。

MAP-对于最大后验 -是指找到与后验密度成比例的某种事物的局部最大值，并使用相应的参数值作为估计值。定义为

{\hat{θ}}_{M A P} = {argmax}_{θ} p (θ | D)

$\hat{\theta}_{MAP} = \text{argmax}_{\theta} \, p(\theta \, | \, D)$

MCMC通常用于估计与概率密度成正比的期望值。在后验的情况下

{\hat{θ}}_{M C M C} = n^{- 1} \sum_{i = 1}^{n} θ_{i}^{0} \approx \int_{Θ} θ p (θ | D) d θ

$\hat{\theta}_{MCMC} = n^{-1} \sum_{i=1}^{n} \theta^{0}_{i} \approx \int_{\Theta}\theta \, p(\theta \, | \, D)d\theta$

其中是合适的马尔可夫链访问的参数空间位置的集合。通常，有意义。 $\{\theta^{0}_{i}\}^{n}_{i=1}$ $\hat{\theta}_{MAP} \neq \hat{\theta}_{MCMC}$

问题的关键是MAP涉及优化，而MCMC则基于采样。

— 托宾
source

您指出后验证明很难进行优化分析，在MAP中就是这种情况。那么，只有通过分析可以优化后验并且不是这种情况（例如）必须诉诸于MCMC方法，MAP才可能吗？

— 达努

不可以，除了提供解析解外，还可以使用迭代算法来提出解（例如，如果对数后验是凹入的，则可以使用牛顿法）。

— Cliff AB

MAP是指找到（局部）最大化后验的参数值。不要紧，一个如何得到这些参数值：求解最大值分析，使用常规的数值，自动分化，等等

— jtobin