离散参数使用什么MCMC算法/技术？

我知道很多有关拟合连续参数（尤其是基于梯度的方法）的知识，但对拟合离散参数的了解却很少。

拟合离散参数的常用MCMC算法/技术有哪些？是否有既通用又强大的算法？是否存在可以很好地处理维数诅咒的算法？例如，我会说汉密尔顿MCMC是通用的，功能强大的并且可扩展性很好。

从任意离散分布进行采样似乎比从连续分布进行采样更加困难，但是我很好奇目前的技术水平。

编辑：JMS要求我详细说明。

我没有特定的应用程序，但是我在想像一些模型：

• 几种连续回归模型之间的模型选择。您有一个离散的单个“模型”参数
• 连续模型，其中每个观测值都有可能成为“异常值”并从更加分散的分布中得出。我想这是一个混合模型。

我希望许多模型都包含连续参数和离散参数。

因此，简单的答案是肯定的：Metropolis-Hastings及其特例Gibbs采样:)通用而强大；是否可缩放取决于当前的问题。

$f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

您有特定的想法吗？有各种各样的MCMC方法可以拟合混合模型，例如，潜在成分分配是离散参数。这些范围从非常简单（Gibb）到非常复杂。

参数空间有多大？它是否可能巨大（例如，在混合模型的情况下，其为N等于混合成分的数量）？您可能不需要的只是Gibbs采样器，因为共轭不再是问题（您可以直接获取归一化常数，从而可以计算完整的条件）。实际上，网格状吉布斯曾经在这些情况下很流行，其中连续先验被离散化以简化计算。

我认为对于所有具有离散参数空间的问题，没有什么比连续情况更合适的了。但是，如果您向我们介绍您感兴趣的模型，也许我们可以提出一些建议。

编辑：好的，我可以在您的示例中提供更多信息。

$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$$2^p$$1:2^p$

$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS将整个模型空间嵌入一个大模型中。通常，这很容易实现，但效果不佳。可逆跳转MCMC是另一种方法，它允许参数空间的维数显着变化。参见[3]进行复习和一些实用说明。我敢肯定，您可以在文献中找到有关在不同模型中实现的更多详细说明。

通常，采用完整的MCMC方法是不可行的。说你有一个线性回归$p=1000$

越来越流行的另一种方法是使用模拟模型平均结果的绝对连续收缩先验。通常，这些被配制为法线的水垢混合物。贝叶斯套索就是一个例子，它是正态伽玛先验的一种特例，而正态指数伽玛先验的一种极限情况。其他选择包括马蹄形和正态分布的一般类别，其方差具有倒置的beta先验。有关这些的更多信息，我建议从[6]开始，然后回顾这些参考文献（太多，我无法在此处复制：））

如果有机会，我将在稍后添加更多关于异常值模型的信息。经典参考文献是[7]。它们在精神上与收缩先验非常相似。通常，使用Gibbs采样非常容易。

也许不如您期望的那样实用；特别是模型选择是一个难题，模型越复杂，就越糟糕。我仅有的一般建议是尽可能地进行块更新。从混合分布中抽样时，您经常会遇到成员资格指标和组件参数高度相关的问题。我也没有涉及标签切换问题（或缺少标签切换）。那里有很多文学作品，但是有点离我很远。

无论如何，我认为从这里的一些参考开始是很有用的，以了解其他人解决类似问题的不同方式。

[1] Merlise Clyde和EI George。不确定性模型统计科学》 19（2004）：81--94。 http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Green＆Hastie可逆跳MCMC（2009） http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Mike West离群值模型和贝叶斯线性回归中的先验分布（1984）JRSS-B