马尔可夫链与马尔可夫链蒙特卡洛之间有什么联系

15

我正在尝试使用SAS了解马尔可夫链。我了解到，马尔可夫过程是未来状态仅取决于当前状态而不取决于过去状态的过程，并且存在一个转移矩阵来捕获从一种状态到另一种状态的转移概率。

但是后来我碰到了这个术语：Markov Chain Monte Carlo。我想知道的是，马尔可夫链蒙特卡洛是否与我上面描述的马尔可夫过程有关？

— 胜利者
source

9

好吧，是的，这两个术语之间存在关系，因为来自MCMC的抽奖形成了一个马尔可夫链。摘自Gelman，贝叶斯数据分析（第3版），第1页。265：

马尔可夫链模拟（也称为马尔可夫链蒙特卡洛或MCMC）是一种基于适当分布中的值绘制图，然后对其进行校正以更好地近似目标后验分布的通用方法。采样是顺序进行的，采样抽取的分布取决于最后抽取的值。因此，平局形成了一个马尔可夫链。 $\theta$ $p(\theta|y)$

— Sycorax说恢复莫妮卡
source

嗯，好的，但是为什么我需要从马尔可夫过程中抽取随机样本，所以还有很多其他过程，例如正常，贝努利，位置等。–

— 维克多

2

@Victor我认为您已经看不到MCMC 的用例了。当没有后验分布的分析形式时，我们在贝叶斯统计中使用MCMC。

— Sycorax说应

3

+1贝叶斯统计可能是MCMC最明显的应用（目标分布在关节后部），但不是唯一可能的方法。

— Glen_b-恢复莫妮卡2015年

18

这两个概念之间的联系是，马尔可夫链蒙特卡罗（aka MCMC）方法依赖于马尔可夫链理论从复杂的目标分布产生仿真和蒙特卡洛近似。 $\pi$

在实践中，这些模拟方法输出的序列是马尔可夫链，即使得给定整个过去时的分布仅取决于。换句话说，其中 $X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{一世} = F （ X_{一世 - 1个} ， ϵ_{一世} ）

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$ 是由算法指定的函数，目标分布

和

是iid。该（遍历）理论保证

收敛（分销），以

为

到达

。

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

切片采样器是MCMC算法最简单的示例：在此算法的迭代i中，执行

模拟 $\epsilon^1_i\sim\mathrm{U}(0,1)$

模拟（这相当于产生第二独立） $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$

举例来说，如果目标分布是正常 [用于您显然不会需要MCMC在实践中，这是一个玩具的例子！]上述翻译为 $\mathrm{N}(0,1)$

模拟 $\epsilon^1_i\sim\mathrm{U}(0,1)$

模拟，即 $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ 与 $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ $\epsilon_i^2\sim\mathrm{U}(0,1)$

或在R中

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$ $(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

跟随目标密度曲线下马尔可夫链的垂直和水平运动。

— 西安
source