从MCMC样本计算边际可能性
这是一个反复出现的问题（请参阅本文，本文和文章），但是我有不同的看法。 假设我有一堆来自通用MCMC采样器的采样。对于每个样本，我知道对数似然和对数在先。如果有帮助，我也知道每个数据点的对数似然值\ log f（x_i | \ theta）（此信息对某些方法（例如WAIC和PSIS-LOO）有所帮助）。θθ\thetalogf(x|θ)logf(x|θ)\log f(\textbf{x} | \theta)logf(θ)logf(θ)\log f(\theta)logf(xi|θ)logf(xi|θ)\log f(x_i | \theta) 我想仅凭我拥有的样本以及可能的其他一些功能评估（但不重新运行即席 MCMC）来获得（粗略）边际可能性的估计。 首先，让我们清除表。众所周知，谐波估计器是有史以来最差的估计器。让我们继续前进。如果使用封闭形式的先验和后验进行Gibbs采样，则可以使用Chib方法。但是我不确定如何在这些情况之外进行概括。还有一些方法需要您修改采样过程（例如通过回火的后验者），但是我对此并不感兴趣。 我正在考虑的方法包括用参数（或非参数）形状g（\ theta）近似基础分布g(θ)g(θ)g(\theta)，然后将归一化常数ZZZ视为一维优化问题（即，使某些误差最小的ZZZ之间Zg(θ)Zg(θ)Z g(\theta)和f(x|θ)f(θ)f(x|θ)f(θ)f(\textbf{x}|\theta) f(\theta)评价对样品）。在最简单的情况下，假设后验近似为多元法线，我可以将g（\ theta）拟合g(θ)g(θ)g(\theta)为多元法线，并得到类似于拉普拉斯近似的东西（我可能想使用一些其他函数求值来细化位置模式）。但是，我可以将其用作g(θ)g(θ)g(\theta)更灵活的族，例如多元ttt分布的变体混合。 我知道只有在Zg(θ)Zg(θ)Z g(\theta)是f（\ textbf {x} | \ theta）f（\ theta）的合理近似值的情况下，此方法才有效f(x|θ)f(θ)f(x|θ)f(θ)f(\textbf{x}|\theta) f(\theta)，但是任何理由或谨慎的说法对于为什么这样做都是非常不明智的会吗 您会建议阅读吗？ 完全非参数方法使用一些非参数族，例如高斯过程（GP），来近似logf(x|θ)+logf(θ)logf(x|θ)+logf(θ)\log f(\textbf{x}|\theta) + \log f(\theta)（或其一些其他非线性变换，例如（作为平方根）和贝叶斯正交，以隐式集成基础目标（请参见此处和此处）。这似乎是一种有趣的替代方法，但在精神上是类似的（另请注意，就我而言，全科医生会很笨拙）。