具有Metropolis-Hastings算法的MCMC:选择方案


13

我需要进行仿真以评估3参数函数的积分,我们说,它的公式非常复杂。要求使用MCMC方法进行计算并实施Metropolis-Hastings算法以生成以分配的值,并建议使用3变量正态作为建议分布。阅读有关它的一些示例,我发现其中一些使用带有固定参数的法线一些使用具有可变均值,其中是最后接受的值根据分布。我对这两种方法都有疑问:ffN(μ,σ)N(X,σ)Xf

1)选择最后接受的值作为提案分配的新均值是什么意思?我的直觉说,它应该保证我们的值将更接近于分布的值,并且接受的机会会更大。但这不是集中我们太多的样本吗?是否可以保证,如果我得到更多的样本,链条将变得平稳?f

2)不会选择固定参数(因为确实很难分析)真的很困难,并且依赖于第一个样本,我们需要选择启动算法?在这种情况下,找到哪种更好的最佳方法是什么?f

这些方法中的一种是否比另一种更好?或者这取决于具体情况?

我希望我的疑惑是明确的,如果能提供一些文献,我会很高兴(我读过一些有关该主题的论文,但是更好的是!)

提前致谢!

Answers:


10

1)您可以将此方法视为随机游走方法。当提议分布,通常称为Metropolis算法。如果太小,您将具有很高的接受率,并且非常缓慢地探索目标分布。实际上,如果太小并且分布是多峰的,采样器可能会陷入特定的模式,而无法完全探究目标分布。另一方面,如果太大,则接受率将太低。由于您具有三个维度,因此提案分配将具有协方差矩阵xxtN(xt,σ2)σ2σ2σ2Σ每个维度可能需要不同的方差和协方差。选择适当的可能很困难。Σ

2)如果提案分配始终为,则这是独立的Metropolis-Hastings算法,因为您的提案分配不依赖于当前样本。如果您的提案分布与您要抽样的目标分布非常近似,则此方法最有效。您是正确的,选择良好的法线近似值可能很困难。N(μ,σ2)

两种方法的成功都不应取决于采样器的起始值。无论您从哪里开始,马尔可夫链最终都应该收敛到目标分布。要检查收敛,可以从不同的起点运行多个链,然后执行收敛诊断,例如Gelman-Rubin收敛诊断。


我不确定以下语句:“ 2)如果您的提案分配始终为,那么这是独立的Metropolis-Hastings算法,因为您的提案分配不取决于您当前的样本: ”是正确的,因为不是从对称的提取样本,因此可以更正确地将其称为Metropolis算法,而不是Metropolis-Hasting算法。我不确定自己的自我,所以我也在问这个问题。N(μ,σ2)N(μ,σ2)
Rhody

@rhody。Metropolis算法不会将条件放到当前位置。关键是要使用当前位置的对称建议在参数空间中慢慢徘徊。使用取决于您当前位置的所有对称建议和Metropolis验收概率计算,您最终将收敛到目标分布。对于独立的Metropolis-Hastings算法,您希望提案分配近似于目标分布,并且对接受概率使用不同的计算。
jsk

@rhody。同样,正态分布确实是对称分布,但这不是这里提到的对称类型。如果q是您的提议分布,则如果q(Y | X)= q(X | Y),则提议分布是对称的。如果,则q不对称,因为对于所有和来说。qN(μ,σ2)q(Y)q(X)XY
jsk

@jsk被认为是对称的,对吗?xN(x,ε)
user76284
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.