为什么冗余均值参数化可以加快Gibbs MCMC？

在Gelman＆Hill（2007）的书（使用回归和多级/层次模型进行数据分析）中，作者声称包括冗余均值参数可以帮助加快MCMC。

给定的示例是“飞行模拟器”（公式13.9）的非嵌套模型：

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

他们建议重新参数化，并添加平均参数和，如下所示： $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

提供的唯一理由是（第420页）：

仿真可能会陷入整个矢量（或）远离零的配置中（即使分配了均值为0的分布）。最终，模拟将收敛到正确的分布，但是我们不想等待。 $\gamma$ $\delta$

冗余均值参数如何解决此问题？

在我看来，非嵌套模型的速度较慢，主要是因为和呈负相关。（实际上，如果一个总数上升，则另一个则必须下降，因为它们的总和被数据“固定”了）。冗余均值参数是否有助于降低和之间的相关性，或完全减少其他方面的相关性？ $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— 海森堡
source

您是否正在寻找在这个特别的问题直观的洞察力（如是否是关联 -或相关 -和 -），或者你找对一般问题直观的洞察力（即分层居中的概念）？在后一种情况下，您是否希望直觉接近于证明或直觉更宽松，或多或少显示出其工作原理？

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— Sextus Empiricus

我希望对一般的层次中心化概念有直观的了解（因为问题中的特殊情况直接是层次中心化的应用）。我想了解的关键点是：如果组级别的差异占总差异的很大一部分，为什么分层居中工作？Gelfand等人的论文。用数学方法证明了这一点（即推导相关性并找到其极限行为），但没有任何直观的解释。

— 海森堡

要避免的相关是与和。 $\mu$ $\gamma_j$ $\delta_k$

通过将计算模型中的和替换为以为中心的替代参数，可以减少相关性。 $\gamma_j$ $\delta_k$ $\mu$

有关非常清晰的描述，请参见第25.1节“什么是分层居中？”。（免费提供）由William J. Browne等人撰写的“ MLwiN中的MCMC估计”一书。 http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— 天性
source

“ MCMC估计MlwiN”的第25.1节确实描述了这种“分层居中”技术，但是除了声称其有效之外，没有进一步详细介绍。深入研究其参考文献，我发现该技术的实际证明已在Gelfand等人的Biometrika vol 82第3期，文章“ 有效的线性混合模型的有效参数化”中提出。–

— Heisenberg，

上面的文章又利用了正态分布的性质，而没有进行解释。我在凯文·墨菲（Kevin Murphy）对高斯分布的共轭贝叶斯分析中找到了这些性质的证据。

— 海森堡

不幸的是，我仍然没有看到这种技术为何起作用的直观解释。

— 海森堡

已经很晚了，但我认为本文可能就是您正在寻找的

— 东西-baruuum