Questions tagged «mcmc»

我一直在阅读有关Gibbs采样和Metropolis Hastings算法的文章，并有几个问题。 据我了解，在吉布斯抽样的情况下，如果我们有一个大的多元问题，我们从条件分布中抽样，即抽样一个变量，而其他变量保持不变，而在MH中，我们从整个联合分布抽样。 该文件说的一件事是，建议的样本始终在Gibbs抽样中接受，即建议的接受率始终为1。对我来说，这似乎是一个很大的优势，因为对于大型多元问题，MH算法的拒绝率似乎变得很大。如果确实如此，那么为什么一直不使用Gibbs Sampler来生成后验分布的原因是什么？

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

精度定义为： p = true positives / (true positives + false positives) 对不对，作为true positives和false positives做法0，精度接近1？ 召回相同的问题： r = true positives / (true positives + false negatives) 我目前正在实施统计测试，需要计算这些值，有时分母为0，我想知道在这种情况下应返回哪个值。 PS：请原谅，不恰当的标签，我想用recall，precision和limit，但我不能创造新的标签呢。

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

我今天正在阅读Christian Robert的Blog，非常喜欢他正在讨论的新的Metropolis-Hastings算法。看起来很容易实现。 每当我对MCMC进行编码时，我都会坚持使用非常基本的MH算法，例如对数刻度上的独立移动或随机游动。 人们通常使用哪种MH算法？特别是： 为什么使用它们？ 从某种意义上讲，您必须认为它们是最佳的-毕竟，您通常会使用它们！那么，您如何判断最优性：易于编码，收敛，... 我对实际使用的内容特别感兴趣，即您编写自己的方案时。

20 mcmc  metropolis-hastings 

MCMC算法有多种： 大都会-哈丁斯 吉布斯 重要/拒绝抽样（相关）。 为什么要使用Gibbs抽样而不是Metropolis-Hastings？我怀疑在某些情况下，使用吉布斯采样比使用Metropolis-Hastings推理更容易处理，但是我不清楚具体细节。

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

我知道很多有关拟合连续参数（尤其是基于梯度的方法）的知识，但对拟合离散参数的了解却很少。 拟合离散参数的常用MCMC算法/技术有哪些？是否有既通用又强大的算法？是否存在可以很好地处理维数诅咒的算法？例如，我会说汉密尔顿MCMC是通用的，功能强大的并且可扩展性很好。 从任意离散分布进行采样似乎比从连续分布进行采样更加困难，但是我很好奇目前的技术水平。 编辑：JMS要求我详细说明。 我没有特定的应用程序，但是我在想像一些模型： 几种连续回归模型之间的模型选择。您有一个离散的单个“模型”参数 连续模型，其中每个观测值都有可能成为“异常值”并从更加分散的分布中得出。我想这是一个混合模型。 我希望许多模型都包含连续参数和离散参数。

19 bayesian  mcmc 

我的理解是，当使用贝叶斯方法估算参数值时： 后验分布是先验分布和似然分布的组合。 我们通过从后验分​​布生成样本来模拟此过程（例如，使用Metropolis-Hasting算法生成值，如果它们超过属于后验分布的概率的某个阈值，则接受它们）。 生成此样本后，我们将使用它来近似后验分布以及诸如均值之类的东西。 但是，我觉得我一定是误会了。听起来我们有一个后验分布，然后从中进行采样，然后使用该样本作为后验分布的近似值。但是，如果我们有后验分布开始，为什么我们需要从中进行采样来近似呢？

19 bayesian  inference  simulation  mcmc  posterior 

我试图从法语维基百科页面了解什么是马尔可夫链蒙特卡洛（MCMC）。他们说：“马尔可夫链蒙特卡罗方法包括仅从向量数据x i - 1生成向量xixix_ {i}，因此这是一个“没有内存”的过程”xi−1xi−1x_ {i-1} 莱斯méthodes蒙特卡洛帕CHAINES德马尔可夫一致的générer未vecteur xixix_{i} uniquementàpartir德拉donnée杜vecteur xi−1xi−1x_{{i-1}} ; c'est donc un processus«sansmémoire»， 我不明白为什么他们说MCMC是“没有内存的”，只要我们使用向量数据xi−1xi−1x_ {i-1}来生成xixix_i。

18 mcmc 

有谁知道MCMC在哪一年左右变得司空见惯（即贝叶斯推理的一种流行方法）？随着时间的推移，链接到已发表的MCMC（期刊）文章的数量将特别有用。

18 bayesian  mcmc  history 

我想一个问题申请MCMC，但我的先验概率（在我的情况下，他们是））被限制在一个区域？我可以使用普通的MCMC并忽略掉在限制区域（在我的情况下是[0,1] ^ 2）之外的样本，即当新的过渡区域超出限制区域时重用过渡函数吗？α∈[0,1],β∈[0,1]α∈[0,1],β∈[0,1]\alpha\in[0,1],\beta\in[0,1]

18 sampling  mcmc  monte-carlo  random-walk 

我以最高权限1认为Gibbs采样是用于马尔可夫链蒙特卡洛采样的Metropolis-Hastings算法的特例。MH算法总是给出具有详细平衡属性的转移概率；我希望吉布斯也应该如此。那么在以下简单情况下，我哪里出错了？ 对于两个离散变量（为简单起见上的目标分布，完整的条件分布为： π(x,y)π(x,y)\pi(x, y)q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} 据我了解的吉布斯采样，可以写出转移概率： Pr o b { （y1个，ÿ2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) 问题是 但是我能得到的最接近的是 稍有不同，并不意味着详细的平衡。感谢您的任何想法！π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)},π(y1,y2)Prob{(y1,y2)→(x1,x2)}=?π(x1,x2)Prob{(x1,x2)→(y1,y2)}, \pi(y_1,y_2) Prob\{(y_1, y_2) \to (x_1, x_2)\} \overset{?}{=} \pi(x_1,x_2) Prob\{(x_1, x_2) …

17 mcmc  gibbs 

我正在尝试实现即插即用的MCMC算法，但是在理解如何进行操作时遇到了一些麻烦。总体思路如下： 为了在MH中产生提案跳跃，我们： 根据单位球表面上的分布生成方向dddOO\mathcal{O} 沿约束空间生成有符号距离。λλ\lambda 但是，我不知道应该如何用R（或任何其他语言）实现这一点。 有没有人会向我指出正确方向的一小段代码？ 顺便说一句，我对执行此方法的库没什么兴趣，我想尝试自己编写代码。 非常感谢。

16 r  bayesian  mcmc 

我正在浏览Stan文档，可以从此处下载。我对他们实施Gelman-Rubin诊断程序特别感兴趣。最初的论文Gelman＆Rubin（1992）定义了潜在的水垢减少因子（PSRF）如下： 令为第个采样的马尔可夫链，并让整个独立的链采样。假设为第链的均值，而为整体均值。定义 其中 并定义Xi,1,…,Xi,NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}iiiMMMX¯i⋅X¯i⋅\bar{X}_{i\cdot}iiiX¯⋅⋅X¯⋅⋅\bar{X}_{\cdot \cdot}W=1M∑m=1Ms2m,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, s2m=1N−1∑t=1N(X¯mt−X¯m⋅)2.sm2=1N−1∑t=1N(X¯mt−X¯m⋅)2.s^2_m = \dfrac{1}{N-1} \sum_{t=1}^{N} (\bar{X}_{m t} - \bar{X}_{m \cdot})^2\,. BBB B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B=NM−1∑m=1M(X¯m⋅−X¯⋅⋅)2.B = \dfrac{N}{M-1} \sum_{m=1}^{M} (\bar{X}_{m \cdot} - \bar{X}_{\cdot \cdot})^2 \,. 定义 使用估算PSRF ，其中 其中。V^=(N−1N)W+(M+1MN)B.V^=(N−1N)W+(M+1MN)B.\hat{V} = \left(\dfrac{N-1}{N} \right)W + \left( \dfrac{M+1}{MN} \right)B\,. [R= VR^−−√R^\sqrt{\hat{R}}d ˚F = 2 V / …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

据我了解，近似贝叶斯计算（ABC）和马尔可夫链蒙特卡洛（MCMC）具有非常相似的目标。下面，我将描述我对这些方法的理解，以及如何理解它们在实际数据中的应用差异。 近似贝叶斯计算 ABC包括先验取样一个参数θθ\theta，然后通过数值模拟计算出统计量xixix_i，并将其与一些观测到的xobsxobsx_{obs}。基于拒绝算法，xixix_i被保留或拒绝。保留列表xixix_i所做出的后验分布。 马尔可夫链蒙特卡洛 MCMC包括对参数的先验分布进行采样。它需要一个第一样本θ 1，计算P （X ö b 小号 | θ 1）P （θ 1），然后跳转（根据某些规则）到一个新的值θ 2为其中P （X ö b 小号 | θ 2）P （θ 2）被再次计算。比率P （x o b sθθ\thetaθ1θ1\theta_1P(xobs|θ1)P(θ1)P(xobs|θ1)P(θ1)P(x_{obs} | \theta_1)P(\theta_1)θ2θ2\theta_2P(xobs|θ2)P(θ2)P(xobs|θ2)P(θ2)P(x_{obs} | \theta_2)P(\theta_2)进行计算，并根据一些阈值时，将来自所述第一或第二位置发生的下一个跳跃。探索θ值的过程是一而终，最后，保留的θ值的分布是后验分布P（θ|x）（出于我尚不知道的原因）。P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}θθ\thetaθθ\thetaP(θ|x)P(θ|x)P(\theta | x) 我意识到我的解释未能代表这些术语（尤其是MCMC）下每个术语下存在的各种方法。 ABC vs MCMC（利弊） ABC的优点是不需要解析地求解。这样，ABC对于MCMC无法做到的复杂模型很方便。P(x|θ)P(θ)P(x|θ)P(θ)P(x | \theta)P(\theta) MCMC允许进行统计检验（似然比检验，G检验……），而我认为这对于ABC来说是不可行的。 我到目前为止正确吗？ 题 ABC和MCMC在应用方面有何不同？如何决定使用一种或另一种方法？

15 bayesian  mcmc  computational-statistics 

我的基本问题是：如何从不正确的分布中抽样？从不正确的分布中取样甚至有意义吗？ 西安的评论在某种程度上解决了这个问题，但我正在寻找有关此问题的更多详细信息。 更特定于MCMC： 在谈论MCMC和阅读论文时，作者强调要获得适当的后验分布。有著名的Geyer（1992）论文，作者忘了检查他们的后验是否正确（否则是一篇出色的论文）。 但是，假设我们有一个似然和不适当的先验分布使得所得后也不合适，并且MCMC从分发用于样品。在这种情况下，样本表明什么？此样本中有任何有用的信息吗？我知道这里的马尔可夫链就是瞬态的或零循环的。如果是零循环，是否有任何积极的收获？θF（x | θ ）F（X|θ）f(x|\theta)θθ\theta 最后，在Neil G 在这里的回答中，他提到了 您通常可以从后方取样（使用MCMC），即使操作不当也是如此。 他提到这种采样在深度学习中很常见。如果这是真的，那有什么意义呢？

15 distributions  bayesian  mcmc  markov-process  improper-prior 

在阅读了有关贝叶斯结构时间序列模型的博客文章之后，我想看看在以前使用ARIMA的问题的背景下实现这一点。 我有一些已知的（但嘈杂的）季节性因素的数据-肯定有年度，每月和每周的因素，还有由于特殊日子（例如联邦或宗教假期）而产生的影响。 我使用了该bsts包来实现此目的，据我所知，我并没有做错任何事情，尽管组件和预测看起来并不像我期望的那样。我不清楚我的实现是否错误，不完整或存在其他问题。 全时系列如下所示： 我可以在数据的某些子集上训练模型，并且模型通常在拟合方面看起来不错（图如下）。我用来执行此操作的代码在这里： library(bsts) predict_length = 90 training_cut_date <- '2015-05-01' test_cut_date <- as.Date(training_cut_date) + predict_length df = read.csv('input.tsv', sep ='\t') df$date <- as.Date(as.character(df$date),format="%Y-%m-%d") df_train = df[df$date < training_cut_date,] yts <- xts(log10(df_train$count), order.by=df_train$date) ss <- AddLocalLinearTrend(list(), yts) ss <- AddSeasonal(ss, yts, nseasons = 7) ss <- AddSeasonal(ss, yts, nseasons …

15 r  time-series  bayesian  mcmc  bsts