Questions tagged «gibbs»

我将尝试使用BUGS风格的环境来估计贝叶斯模型。在OpenBugs或JAGS之间进行选择时，有什么重要的优点要考虑？在可预见的将来，有可能取代另一个吗？ 我将在R中使用所选的Gibbs Sampler。我还没有特定的应用程序，但是我正在决定安装和学习哪个。

41 r  software  bugs  jags  gibbs 

我一直在尝试学习MCMC方法，并遇到了Metropolis Hastings，Gibbs，Importance和Rejection采样。尽管其中一些差异是显而易见的，例如，当我们拥有全部条件时，吉布斯是Metropolis Hastings的特例，而其他差异则不那么明显，例如当我们想在Gibbs采样器中使用MH等时，是否有人查看每种方法之间的大部分差异的简单方法？谢谢！

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

我想学习Gibbs采样的工作原理，并且正在寻找中级论文的基础。我具有计算机科学背景和基本的统计知识。 有人读过很好的材料吗？你在哪里学的？ 谢谢

29 references  gibbs 

当我为某些问题编写蒙特卡洛模拟代码时，并且该模型非常简单，我使用了非常基础的教科书Gibbs采样。当无法使用Gibbs采样时，我编写了几年前学到的教科书Metropolis-Hastings。我对此的唯一想法是选择跳跃分布或其参数。 我知道有成百上千的专门方法可以改善这些教科书的选择，但我通常从不考虑使用/学习它们。通常感觉是要付出很多努力来改善已经很好地进行的工作。 但是最近我一直在思考，也许没有新的通用方法可以改善我一直在做的事情。自从发现这些方法以来已有数十年了。也许我真的过时了！ 有没有众所周知的替代Metropolis-Hasting的方法： 相当容易实现， 像MH一样普遍适用 并始终在某种意义上提高MH的结果（计算性能，准确性等）？ 我知道针对非常专业的模型进行了一些非常专业的改进，但是每个人都使用一些我不知道的常规知识吗？

21 bayesian  mcmc  gibbs  metropolis-hastings 

我一直在阅读有关Gibbs采样和Metropolis Hastings算法的文章，并有几个问题。 据我了解，在吉布斯抽样的情况下，如果我们有一个大的多元问题，我们从条件分布中抽样，即抽样一个变量，而其他变量保持不变，而在MH中，我们从整个联合分布抽样。 该文件说的一件事是，建议的样本始终在Gibbs抽样中接受，即建议的接受率始终为1。对我来说，这似乎是一个很大的优势，因为对于大型多元问题，MH算法的拒绝率似乎变得很大。如果确实如此，那么为什么一直不使用Gibbs Sampler来生成后验分布的原因是什么？

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

MCMC算法有多种： 大都会-哈丁斯 吉布斯 重要/拒绝抽样（相关）。 为什么要使用Gibbs抽样而不是Metropolis-Hastings？我怀疑在某些情况下，使用吉布斯采样比使用Metropolis-Hastings推理更容易处理，但是我不清楚具体细节。

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

我以最高权限1认为Gibbs采样是用于马尔可夫链蒙特卡洛采样的Metropolis-Hastings算法的特例。MH算法总是给出具有详细平衡属性的转移概率；我希望吉布斯也应该如此。那么在以下简单情况下，我哪里出错了？ 对于两个离散变量（为简单起见上的目标分布，完整的条件分布为： π(x,y)π(x,y)\pi(x, y)q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} 据我了解的吉布斯采样，可以写出转移概率： Pr o b { （y1个，ÿ2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) 问题是 但是我能得到的最接近的是 稍有不同，并不意味着详细的平衡。感谢您的任何想法！π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)},π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)}, \pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) …

17 mcmc  gibbs 

我正在浏览Stan文档，可以从此处下载。我对他们实施Gelman-Rubin诊断程序特别感兴趣。最初的论文Gelman＆Rubin（1992）定义了潜在的水垢减少因子（PSRF）如下： 令为第个采样的马尔可夫链，并让整个独立的链采样。假设为第链的均值，而为整体均值。定义 其中 并定义Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}iiiMMMX¯i⋅X¯i⋅\bar{X}_{i\cdot}iiiX¯⋅⋅X¯⋅⋅\bar{X}_{\cdot \cdot}W=1M∑m=1Ms2m,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, s2m=1N−1∑t=1N(X¯mt−X¯m⋅)2.sm2=1N−1∑t=1N(X¯mt−X¯m⋅)2.s^2_m = \dfrac{1}{N-1} \sum_{t=1}^{N} (\bar{X}_{m t} - \bar{X}_{m \cdot})^2\,. BBB B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B = \dfrac{N}{M-1} \sum_{m=1}^{M} (\bar{X}_{m \cdot} - \bar{X}_{\cdot \cdot})^2 \,. 定义 使用估算PSRF ，其中 其中。V^=(N−1N)W+(M+1MN)B.V^=(N−1N)W+(M+1MN)B.\hat{V} = \left(\dfrac{N-1}{N} \right)W + \left( \dfrac{M+1}{MN} \right)B\,. [R= VR^−−√R^\sqrt{\hat{R}}d ˚F = 2 V / …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

诸如Metropolis-Hastings和Gibbs采样之类的MCMC算法是从联合后验分布中采样的方法。 我想我理解并可以很轻松地实现城市改造-您只需以某种方式选择起点，并在后验密度和投标密度的指导下随机“遍历参数空间”。Gibbs采样看起来非常相似，但是效率更高，因为它一次只更新一个参数，而其他参数保持不变，从而以正交方式有效地遍历空间。 为此，您需要解析from *中每个参数的完整条件。但是这些全部条件从何而来？ P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn)P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn) P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} 要得到分母，您需要在上将关节边缘化x1x1x_1。如果有许多参数，这似乎需要大量工作来进行分析，如果联合分布不是很“好”，则可能很难处理。我意识到，如果在整个模型中使用共轭，则完整的条件可能很容易，但是对于更一般的情况，必须有一种更好的方法。 我在网上看到的所有吉布斯抽样示例都使用了玩具示例（例如从多变量法线抽样，条件变量本身就是法线），并且似乎可以避免这个问题。 *还是根本不需要分析形式的完整条件？像winBUGS这样的程序是如何做到的？

15 bayesian  mcmc  gibbs 

我正在从头开始复制第4.2.1节的结果 吉布斯输出的边际可能性 悉达多（Siddhartha Chib） 美国统计协会杂志，第一卷。90，第432号。（1995年12月），第1313-1321页。 它是具有已知组件数的法线模型的混合。 k≥1k≥1k\geq 1f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σ2j).(∗)f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σj2).(∗) f(x\mid w,\mu,\sigma^2) =\prod_{i=1}^n\sum_{j=1}^k \mathrm{N}(x_i\mid\mu_j,\sigma_j^2) \, . \qquad (*) 该模型的Gibbs采样器是使用Tanner和Wong的数据增强技术实现的。引入了一组分配变量并假设值为，我们指定和f（x_i \ mid z ，\ mu，\ sigma ^ 2）= \ mathrm {N}（x_i \ mid \ mu_ {z_i}，\ sigma ^ 2_ {z_i}）。因此，在z_i上的积分给出了原始可能性（*）。z=(z1,…,zn)z=(z1,…,zn)z=(z_1,\dots,z_n)1,…,k1,…,k1,\dots,kPr(zi=j∣w)=wjPr(zi=j∣w)=wj\Pr(z_i=j\mid w)=w_jf(xi∣z,μ,σ2)=N(xi∣μzi,σ2zi)f(xi∣z,μ,σ2)=N(xi∣μzi,σzi2)f(x_i\mid z,\mu,\sigma^2)=\mathrm{N}(x_i\mid\mu_{z_i},\sigma^2_{z_i})ziziz_i(∗)(∗)(*) 该数据集是由来自日冕的828282星系的速度形成的。 set.seed(1701) x <- c( 9.172, 9.350, 9.483, 9.558, 9.775, 10.227, …

13 bayesian  mixture  gibbs 

在Gelman＆Hill（2007）的书（使用回归和多级/层次模型进行数据分析）中，作者声称包括冗余均值参数可以帮助加快MCMC。 给定的示例是“飞行模拟器”（公式13.9）的非嵌套模型： yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align} 他们建议重新参数化，并添加平均参数和，如下所示：μγμγ\mu_\gammaμδμδ\mu_\delta γj∼N(μγ,σ2γ)δk∼N(μδ,σ2δ)γj∼N(μγ,σγ2)δk∼N(μδ,σδ2) \begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align} 提供的唯一理由是（第420页）： 仿真可能会陷入整个矢量（或）远离零的配置中（即使分配了均值为0的分布）。最终，模拟将收敛到正确的分布，但是我们不想等待。γγ\gammaδδ\delta 冗余均值参数如何解决此问题？ 在我看来，非嵌套模型的速度较慢，主要是因为和呈负相关。（实际上，如果一个总数上升，则另一个则必须下降，因为它们的总和被数据“固定”了）。冗余均值参数是否有助于降低和之间的相关性，或完全减少其他方面的相关性？γγ\gammaδδ\deltaγγ\gammaδδ\delta

12 mcmc  hierarchical-bayesian  gibbs 

据我了解，它是（至少是Wikipedia定义的）。但是我发现Efron *的这句话（加了强调）： 马尔可夫链蒙特卡洛（MCMC）是现代贝叶斯统计的成功典范。MCMC及其姊妹方法“ Gibbs采样”允许在过于复杂而无法通过解析表达式表达的情况下，对后验分布进行数值计算。 现在我很困惑。这只是术语上的微小差异，还是Gibbs采样了MCMC之外的其他内容？ [*]：Efron 2011，“ The Bootstrap and Markov-Chain Monte Carlo”

11 mcmc  gibbs 

我的研究背景： 在吉布斯采样中，我们分别从P（X | Y）和P（Y | X）采样（感兴趣的变量）和，其中X和Y是k维随机向量。我们知道该过程通常分为两个阶段：XXXYYYP(X|Y)P(X|Y)P(X|Y)P(Y|X)P(Y|X)P(Y|X)XXXYYYkkk 老化期，我们丢弃所有样品。将样本表示为X1∼XtX1∼XtX_1\sim X_t和Y1∼YtY1∼YtY_1\sim Y_t。 “后烙印”时期，我们将样本\ bar {X} = \ frac {1} {k} \ sum_ {i = 1} ^ k X_ {t + i}平均X¯=1k∑ki=1Xt+iX¯=1k∑i=1kXt+i\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i}作为最终期望的结果。 但是，“预烧”序列Xt+1∼Xt+kXt+1∼Xt+kX_{t+1}\sim X_{t+k}中的样本并不是独立分布的。因此，如果我要检查最终结果的方差，它将变为 Var[X¯]=Var[∑i=1kXt+i]=1k2(∑i=1kVar[Xt+i]+∑i=1k−1∑j=i+1kCov[Xt+i,Xt+j])Var⁡[X¯]=Var⁡[∑i=1kXt+i]=1k2(∑i=1kVar⁡[Xt+i]+∑i=1k−1∑j=i+1kCov⁡[Xt+i,Xt+j])\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right) 这里，术语Cov[Xt+i,Xt+j]Cov⁡[Xt+i,Xt+j]\operatorname{Cov}[X_{t+i},X_{t+j}]是一个k×kk×kk\times k的互协方差矩阵适用于任何(i,j)(i,j)(i,j)与i&lt;ji&lt;ji<j。 例如，我有 Xt + 1= （1 …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

我实际上是在犹豫地提出这个问题，因为恐怕我会被其他问题或维基百科上有关Gibbs抽样的问题提及，但是我不觉得它们描述了即将发生的事情。 给定条件概率： p(x|y)p(x|y)p(x|y)p(x|y)x=x0x=x1y=y01434y=y12646p(x|y)y=y0y=y1x=x01426x=x13446 \begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array} 还有一个条件概率： p(y|x)p(y|x)p(y|x)p(y|x)x=x0x=x1y=y01337y=y12347p(y|x)y=y0y=y1x=x01323x=x13747 \begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 …

11 sampling  mcmc  gibbs 

假设您有一个解释变量，其中表示给定坐标。您还具有一个响应变量。现在，我们可以将两个变量组合为：X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)sssY=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right) W(s)=(X(s)Y(s))∼N(μ(s),T)W(s)=(X(s)Y(s))∼N(μ(s),T){\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T) 在这种情况下，我们只需选择μ(s)=(μ1μ2)Tμ(s)=(μ1μ2)T\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}，TTT是一个协方差矩阵，描述了XXX和Y之间的关系YYY。这只能说明价值XXX和YYY在sss。由于我们从XXX和Y的其他位置获取了更多点YYY，因此可以通过以下方式描述{\ bf {W}}（s）的更多值W(s)W(s){\bf{W}}(s)： (XY)=N((μ11μ21),T⊗H(ϕ))(XY)=N((μ11μ21),T⊗H(ϕ))\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right) 您会注意到，我们重新排列了XX\bf{X}和\ bf {Y}的组件，YY\bf{Y}以将所有X(si)X(si)X(s_i)放在一列中，然后将所有Y（s_i）串联Y(si)Y(si)Y(s_i)在一起。每个分量H(ϕ)ijH(ϕ)ijH(\phi)_{ij}是一个相关函数ρ(si,sj)ρ(si,sj)\rho(s_i, s_j)，TTT等于上述值。之所以具有协方差T⊗H(ϕ)T⊗H(ϕ)T\otimes H(\phi)是因为我们假设可以将协方差矩阵分离为C(s,s′)=ρ(s,s′)TC(s,s′)=ρ(s,s′)TC(s, s')=\rho(s, s') T。 问题1：当我计算条件Y∣XY∣X{\bf{Y}}\mid{\bf{X}}，实际上我正在 根据\ bf {X}生成一组\ bf {Y}值，对吗？我已经有\ …

11 probability  bayesian  conditional-probability  gibbs