是否有实现的Monte Carlo / MCMC采样器可以处理后验分布的局部局部最大值？
我目前正在使用贝叶斯方法来估计由多个ODE组成的模型的参数。由于我有15个参数可以估计，因此我的采样空间是15维的，而我寻找的后验分布似乎有很多局部最大值，这些最大值被非常低概率的大区域非常孤立。 这导致了我的蒙特卡洛链的混合问题，因为一个链不太可能“跳出”一个局部最大值并偶然碰到另一个最大值。 在该领域似乎有很多研究，因为它很容易找到解决这个问题的论文（见下文），但是很难找到一个实际的实现。我只发现了与分子动力学有关的软件包，而没有贝叶斯推断。是否有（MC）MC采样器的实现能够处理孤立的局部最大值？ 我被迫与Matlab一起工作，因为那是我编写的ODE模型所编写的，所以最欢迎有关Matlab的建议;-)。但是，如果有其他语言的“杀手级应用”，也许我可以说服我的PI切换;-)。 我目前正在使用由Haario，Laine等人撰写的“延迟拒绝/自适应蒙特卡洛”采样器。，这也是迄今为止我所能找到的唯一一个比标准Metropolis-Hastings算法更复杂的采样器 值得注意的方法似乎是： 编辑于2017年3月7日更新了我在此期间学到的知识 具有不同起点的多个相似链 链间适应。使用多个独立链生成的合并样本的经验协方差矩阵来更新链提案分布的协方差矩阵。（1） 不同回火的多条链 回火： 某种“温度”似乎改变了后部景观，使链条更可能混合。（我还没有深入探讨这一问题）（1）调节的目的是使由后验概率分布形成的（高维）概率态势平坦。通常通过将后验概率乘以的幂来实现，其中后方景观在变平（3，p.298）。这意味着，代替计算状态的后验概率，给定数据可以计算出回火后验概率1/T1/T1/TT>1T>1T>1p(θ∣D)p(θ∣D)p(\theta\mid D)θθ\thetaDDD p(θ∣D)1/T∝(p(D∣θ)⋅p(θ))1/Tp(θ∣D)1/T∝(p(D∣θ)⋅p(θ))1/Tp(\theta\mid D)^{1/T} \propto \left( p(D\mid\theta)\cdot p(\theta)\right)^{1/T} 选择的越高，概率图中的峰越平坦越宽。因此，较高的值导致采样器从一个局部最大值切换到另一个局部最大值的可能性更高。但是，不是搜索的后验分布 。因此，必须使用该分布的样本链来启用之后的采样。TTTTTTp(θ∣D)1/Tp(θ∣D)1/Tp(\theta\mid D)^{1/T}T≠1T≠1T\neq1p(θ∣D)p(θ∣D)p(\theta\mid D) 原始的，未回火的后验分布的样本，可以通过几种方法从该分布的回火版本得到样本： 大都会耦合的MCMC同时运行多个链，每个链具有不同但恒定的值。概率性地切换两个链的状态。仅将的链中的样本用于下游估计；其他链只需确保对所有峰进行了采样。参考 （4）具有并行算法，并为此主题引用了会议文章和教科书（5,6）TTTT=1T=1T=1 小世界MCMC。采样器在两个建议之间切换。大多数情况下，使用差异较小的提案分布，很少使用差异较大的提案。这两个建议之间的选择是随机的。差异较大的建议也可以从另一个链中得出，该链只会产生很大的跳跃，以粗糙的方式尽可能多地采样（2,7） 哈密尔顿蒙特卡洛（HMC） 我对此了解不多，但是JAGS的No-U-Turn采样器（NUTS） 似乎在使用它。参见参考。（8）。Alex Rogozhnikov创建了关于该主题的可视教程。 参考文献： （1）Craiu等，2009：向邻居学习：并行链和区域自适应MCMC。 J Am Stat Assoc 104：488，第1454-1466页。http://www.jstor.org/stable/40592353 （2）关岛等，2012：带回火的小世界MCMC：人为性和光谱缺口。https://arxiv.org/abs/1211.4675（仅在arXiv上） （3）：Brooks等。（2011）。马尔可夫链手册蒙特卡洛。CRC出版社。 （4）：Altekar等。（2004）：平行大都会耦合马尔可夫链蒙特卡洛用于贝叶斯系统发生推断。Bioinformatics 20（3）2004，第407–415页，http： //dx.doi.org/10.1093/bioinformatics/btg427 （5）：盖耶（Geyer CJ）（1991）马尔可夫链蒙特卡罗最大似然。在：Keramidas（ed。），《计算科学与统计：接口》第23届会议论文集。接口基金会，费尔法克斯站，第156–163页。 （6）：Gilks WR和Roberts GO（1996）。改善MCMC的策略。在：实践中的Gilks WR，Richardson S和Spiegelhalter（eds） …