了解MCMC和Metropolis-Hastings算法

在过去的几天里，我一直在试图了解Markov Chain Monte Carlo（MCMC）的工作方式。特别是，我一直在尝试理解和实现Metropolis-Hastings算法。到目前为止，我认为我对该算法有一个整体的了解，但是有些事情我还不清楚。我想使用MCMC使某些模型适合数据。因此，我将描述我对Metropolis-Hastings算法的理解，该算法用于将直线拟合到一些观测数据D：$f(x)=ax$$D$

1）制作为初始猜测。将此a设置为我们的当前a（a 0）。还要在马尔可夫链（C）的末尾添加a。$a$$a$$a$$a_0$$a$$C$

2）重复以下步骤。

3）评估当前似然（）给出一个0和d。${\cal L_0}$$a_0$$D$

4）通过从正态分布取μ = a 0和σ = s t e p s i z e来提出新的（a 1）。现在，š 吨È p 小号我Ž ê是恒定的。$a$$a_1$$\mu=a_0$$\sigma=stepsize$$stepsize$

5）评估新的可能性（）给定的一个1和d。${\cal L_1}$$a_1$$D$

6）如比更大大号0，接受一个1作为新的一个0，将其追加在年底Ç并转到步骤2。${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

7）如果小于L 0，则从均匀分布生成范围[0,1] 的数字（U）${\cal L_1}$${\cal L_0}$$U$

8）如果比两个似然性（之间的差较小的大号1 - 大号0），接受一个1作为新的一个0，将其追加在年底Ç并转到步骤2。$U$${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

$U$${\cal L_1}$${\cal L_0}$$a_0$$C$$a_0$

10）重复结束。

$C$

$C$$a$

现在，我对上述步骤有一些疑问：

• $f(x)=ax$
• 这是Metropolis-Hastings算法的正确实现吗？
• 在步骤7中选择随机数生成方法如何改变结果？
• $f(x)=ax+b$

注释/信用：上述算法的主要结构基于MPIA Python Workshop的代码。

关于Metropolis-Hastings（MH）算法在您对算法的描述中似乎存在一些误解。

首先，必须了解MH是一种采样算法。如维基百科所述

在统计和统计物理学中，Metropolis-Hastings算法是一种马尔可夫链蒙特卡洛（MCMC）方法，用于从难以直接采样的概率分布中获取随机样本序列。

$Q(\cdot\vert\cdot)$$f(\cdot)$

1. $x_0$
2. $x^{\star}$$Q(\cdot\vert x_0)$
3. $\alpha=f(x^{\star})/f(x_0)$
4. $x^{\star}$$f$$\alpha$
5. $x^{\star}$

$N$$k$

在以下链接中可以找到R中的示例：

http://www.mas.ncl.ac.uk/~ndjw1/teaching/sim/metrop/metrop.html

该方法在贝叶斯统计中大量使用，用于从模型参数的后验分布中采样。

$f(x)=ax$$x$

Robert＆Casella（2010），《带蒙特卡罗方法介绍》，第 6，“ Metropolis-Hastings算法”

在这个站点上，关于似然函数的含义，还有很多问题，以及指向有趣参考的指针。

另一个可能令人感兴趣的指标是R包mcmc，该包使用命令中的高斯建议来实现MH算法metrop()。