Questions tagged «bayesian»

这个问题的技术跟进这个问题。 我在理解和复制Raftery（1988）中NNN提出的模型时遇到了麻烦：二项式参数的推论： WinBUGS / OpenBUGS / JAGS中的分层贝叶斯方法。它不仅与代码有关，因此在这里应该是主题。 背景 令是一组来自未知和的二项式分布的成功计数。此外，我假设遵循参数的泊松分布（如本文所述）。然后，每个的泊松分布均值为。我想根据和指定先验。ñ θ Ñ μ X 我 λ = μ θ λ θx=(x1,…,xn)x=(x1,…,xn)x=(x_{1},\ldots,x_{n})NNNθθ\thetaNNNμμ\muxixix_{i}λ=μθλ=μθ\lambda = \mu \thetaλλ\lambdaθθ\theta 假设我对或没有任何先验知识，我想为和分配非信息先验。说，我的先验是和。θ λ θ λ 〜ģ 一米米一（0.001 ，0.001 ）θ 〜ü Ñ 我˚F ö ř 米（0 ，1 ）NNNθθ\thetaλλ\lambdaθθ\thetaλ∼Gamma(0.001,0.001)λ∼Gamma(0.001,0.001)\lambda\sim \mathrm{Gamma}(0.001, 0.001)θ∼Uniform(0,1)θ∼Uniform(0,1)\theta\sim \mathrm{Uniform}(0, 1) 作者使用不当先验，但WinBUGS不接受不当先验。p(N,θ)∝N−1p(N,θ)∝N−1p(N,\theta)\propto N^{-1} 例 在纸（第226）中，提供了观察到的水羚的以下成功计数：。我想估计，即人口的大小。Ñ53,57,66,67,7253,57,66,67,7253, 57, 66, 67, …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

在他被广泛引用的论文中，层次模型中方差参数的先验分布 （到目前为止，在Google学术搜索中已有916次引用）Gelman提出，对于贝叶斯分层模型，方差的良好非信息性先验分布是均匀分布和Half t分布。如果我理解正确的话，那么当主要关注位置参数（例如均值）时，这将很好地工作。有时，方差参数是主要关注的问题，例如，当分析来自计时任务的人的响应数据时，意味着计时的可变性通常是关注的度量。在那些情况下，我不清楚如何用例如均匀分布的分层方法对可变性进行建模，因为我在分析后想获得参与者水平和小组水平的平均方差的可信度。 然后我的问题是：在主要考虑数据方差的情况下，建立分层贝叶斯模型时，建议采用哪种分布？ 我知道伽马分布可以重新设定为均值和标准差。例如，下面的层次模型来自Kruschke的书《做贝叶斯数据分析》。但是，盖尔曼（Gelman）在他的文章中概述了伽玛分布的一些问题，我很感谢提出替代方案的建议，最好是不难在BUGS / JAGS中工作的替代方案。

16 bayesian  variance  prior  jags  hierarchical-bayesian 

我最近一直在使用MCMCglmm包裹。我对文档中称为R结构和G结构的内容感到困惑。这些似乎与随机效应有关-特别是为它们的先验分布指定参数，但是文档中的讨论似乎假设读者知道这些术语是什么。例如： 具有3个可能元素的先验规范的可选列表：R（R结构）G（G结构）和B（固定效应）.............方差结构（R和G）的先验）列出了具有逆Wishart的期望（协方差）（V）和置信度参数（nu）的列表 ...取自 这里取得。 编辑：请注意，我已经按照斯蒂芬的评论改写了其余的问题。 任何人都可以阐明什么R-结构和G-结构是光，在其中线性预测器是一个简单的方差分量模型的上下文中 β0+e0ij+u0jβ0+e0ij+u0j\beta_0 + e_{0ij} + u_{0j} 与e0ij∼N(0,σ20e)e0ij∼N(0,σ0e2)e_{0ij} \sim N(0,\sigma_{0e}^2)和u0j∼N(0,σ20u)u0j∼N(0,σ0u2)u_{0j} \sim N(0,\sigma_{0u}^2) 我用随附的一些数据制作了以下示例 MCMCglmm > require(MCMCglmm) > require(lme4) > data(PlodiaRB) > prior1 = list(R = list(V = 1, fix=1), G = list(G1 = list(V = 1, nu = 0.002))) > m1 <- MCMCglmm(Pupated ~1, random = …

16 r  bayesian  mixed-model  lme4-nlme 

我正在尝试实现即插即用的MCMC算法，但是在理解如何进行操作时遇到了一些麻烦。总体思路如下： 为了在MH中产生提案跳跃，我们： 根据单位球表面上的分布生成方向dddOO\mathcal{O} 沿约束空间生成有符号距离。λλ\lambda 但是，我不知道应该如何用R（或任何其他语言）实现这一点。 有没有人会向我指出正确方向的一小段代码？ 顺便说一句，我对执行此方法的库没什么兴趣，我想尝试自己编写代码。 非常感谢。

16 r  bayesian  mcmc 

我知道3种进行参数估计的方法，即ML，MAP和贝叶斯方法。对于MAP和Bayes方法，我们需要先验参数，对吗？ 假设我有这个模型，其中是参数，为了使用MAP或Bayes进行估计，我在书中读到我们最好选择一个共轭先前的，这是的联合概率，对吧？p(x|α,β)p(x|α,β)p(x|\alpha,\beta)α,βα,β\alpha,\betap(α,β)p(α,β)p(\alpha,\beta)α,βα,β\alpha,\beta 我有两个问题： 除了这个共轭数之外，我们还有其他选择吗？ 除了将它们组合在一起，我们是否可以像和一样分别为和选择先验？αα\alphaββ\betap(α)p(α)p(\alpha)p(β)p(β)p(\beta)

16 bayesian  estimation  prior 

我正在使用具有一个固定效果（条件）和两个随机效果（由于主题设计和配对而导致的参与者）的混合效果模型分析数据集。该模型是使用lme4包生成的exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp)。 接下来，我针对没有固定效果（条件）的模型对该模型进行了似然比检验，结果有显着差异。我的数据集中有3个条件，因此我想进行多重比较，但不确定使用哪种方法。我在CrossValidated和其他论坛上发现了许多类似的问题，但我仍然很困惑。 据我所见，人们建议使用 1.该lsmeans包- lsmeans(exp.model,pairwise~condition)这给了我下面的输出： condition lsmean SE df lower.CL upper.CL Condition1 0.6538060 0.03272705 47.98 0.5880030 0.7196089 Condition2 0.7027413 0.03272705 47.98 0.6369384 0.7685443 Condition3 0.7580522 0.03272705 47.98 0.6922493 0.8238552 Confidence level used: 0.95 $contrasts contrast estimate SE df t.ratio p.value Condition1 - Condition2 -0.04893538 0.03813262 62.07 -1.283 0.4099 Condition1 - …

16 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

我想 P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B)=P(A|B,C)∗P(C)+P(A|B,¬C)∗P(¬C)P(A|B) = P(A | B,C) * P(C) + P(A|B,\neg C) * P(\neg C) 是正确的，而 P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B)=P(A|B,C)+P(A|B,¬C)P(A|B) = P(A | B,C) + P(A|B,\neg C) 是不正确的。 但是，我对后一种情况有一个“直觉”，也就是说，通过拆分两种情况（C或Not C）来考虑概率P（A | B）。为什么这种直觉是错误的？

15 probability  bayesian 

对于给定的推理问题，我们知道贝叶斯方法通常在形式和结果上都不同于后继方法。经常有人（通常包括我在内）经常指出，他们的方法不需要先验，因此更多是“数据驱动”而不是“判断驱动”。当然，贝叶斯定律可以指向非信息性先验，或者说是实用的，只使用一个真正的分散先验。 我的担忧，尤其是在对惯常的客观性感到自鸣得意之后，尤其是我声称的“客观”方法可以在贝叶斯框架中提出，尽管有一些不同寻常的先验和数据模型。在那种情况下，我只是幸福地对荒谬的先验知识一无所知，并且仿照我的常客主义方法所暗示的那样吗？ 如果贝氏指出，这样的提法，我想，我的第一反应是说“嗯，这是很好的，你可以这样做，但我怎么这不是想这个问题！”。但是，谁在乎我如何看待它或如何制定它。如果我的程序在统计学上/数学上等效于某些贝叶斯模型，那么我隐式地（不经意间！）执行贝叶斯推断。 下面的实际问题 这种认识大大破坏了任何自鸣得意的诱惑。但是，我不确定贝叶斯范式是否可以容纳所有惯常做法（同样，只要贝叶斯选择合适的先验和可能性）是否成立。我知道相反的说法是错误的。 我之所以这样问，是因为我最近发布了一个关于条件推断的问题，这使我想到了以下论文：在此处（请参阅3.9.5,3.9.6） 他们指出了Basu的著名结果，即可能有不止一个辅助统计信息，这引发了关于哪个“相关子集” 最相关的问题。更糟糕的是，它们显示了两个示例，这些示例说明即使您具有唯一的辅助统计信息，也无法消除其他相关子集的存在。 他们继续得出结论，只有贝叶斯方法（或与之等效的方法）才能避免此问题，从而实现无条件的条件推断。 贝叶斯统计惯常主义统计可能并非如此-这是我在这里向这个小组提出的问题。但是看来，这两种范式之间的根本选择在于哲学上而不是目标上：您需要较高的条件精度还是较低的无条件误差：⊃⊃\supset 当我们必须分析一个奇异的实例时，高条件精度似乎是适用的-尽管这种方法可能不适用于下一个数据集（超条件/专业化），但我们希望适合这种特殊的推断。 如果在某些情况下我们愿意做出有条件的错误推断，则低无条件错误是合适的，只要我们将长期运行的错误最小化或加以控制即可。老实说，写完这篇文章后，我不确定为什么要这么做，除非我被束缚了时间并且无法进行贝叶斯分析……嗯。 我倾向于基于似然的惯性论推论，因为我从似然函数中得到了一些（渐近/近似）条件性，但不需要摆弄先验条件-但是，我对贝叶斯推论越来越适应，尤其是当我看到了用于小样本推断的先前的aa 正则化术语。 抱歉，放在一边。我的主要问题的任何帮助表示赞赏。

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

据我了解，近似贝叶斯计算（ABC）和马尔可夫链蒙特卡洛（MCMC）具有非常相似的目标。下面，我将描述我对这些方法的理解，以及如何理解它们在实际数据中的应用差异。 近似贝叶斯计算 ABC包括先验取样一个参数θθ\theta，然后通过数值模拟计算出统计量xixix_i，并将其与一些观测到的xobsxobsx_{obs}。基于拒绝算法，xixix_i被保留或拒绝。保留列表xixix_i所做出的后验分布。 马尔可夫链蒙特卡洛 MCMC包括对参数的先验分布进行采样。它需要一个第一样本θ 1，计算P （X ö b 小号 | θ 1）P （θ 1），然后跳转（根据某些规则）到一个新的值θ 2为其中P （X ö b 小号 | θ 2）P （θ 2）被再次计算。比率P （x o b sθθ\thetaθ1θ1\theta_1P(xobs|θ1)P(θ1)P(xobs|θ1)P(θ1)P(x_{obs} | \theta_1)P(\theta_1)θ2θ2\theta_2P(xobs|θ2)P(θ2)P(xobs|θ2)P(θ2)P(x_{obs} | \theta_2)P(\theta_2)进行计算，并根据一些阈值时，将来自所述第一或第二位置发生的下一个跳跃。探索θ值的过程是一而终，最后，保留的θ值的分布是后验分布P（θ|x）（出于我尚不知道的原因）。P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)P(xobs|θ2)P(θ2)P(xobs|θ1)P(θ1)\frac{P(x_{obs} | \theta_2)P(\theta_2)}{P(x_{obs} | \theta_1)P(\theta_1)}θθ\thetaθθ\thetaP(θ|x)P(θ|x)P(\theta | x) 我意识到我的解释未能代表这些术语（尤其是MCMC）下每个术语下存在的各种方法。 ABC vs MCMC（利弊） ABC的优点是不需要解析地求解。这样，ABC对于MCMC无法做到的复杂模型很方便。P(x|θ)P(θ)P(x|θ)P(θ)P(x | \theta)P(\theta) MCMC允许进行统计检验（似然比检验，G检验……），而我认为这对于ABC来说是不可行的。 我到目前为止正确吗？ 题 ABC和MCMC在应用方面有何不同？如何决定使用一种或另一种方法？

15 bayesian  mcmc  computational-statistics 

我的基本问题是：如何从不正确的分布中抽样？从不正确的分布中取样甚至有意义吗？ 西安的评论在某种程度上解决了这个问题，但我正在寻找有关此问题的更多详细信息。 更特定于MCMC： 在谈论MCMC和阅读论文时，作者强调要获得适当的后验分布。有著名的Geyer（1992）论文，作者忘了检查他们的后验是否正确（否则是一篇出色的论文）。 但是，假设我们有一个似然和不适当的先验分布使得所得后也不合适，并且MCMC从分发用于样品。在这种情况下，样本表明什么？此样本中有任何有用的信息吗？我知道这里的马尔可夫链就是瞬态的或零循环的。如果是零循环，是否有任何积极的收获？θF（x | θ ）F（X|θ）f(x|\theta)θθ\theta 最后，在Neil G 在这里的回答中，他提到了 您通常可以从后方取样（使用MCMC），即使操作不当也是如此。 他提到这种采样在深度学习中很常见。如果这是真的，那有什么意义呢？

15 distributions  bayesian  mcmc  markov-process  improper-prior 

在阅读了有关贝叶斯结构时间序列模型的博客文章之后，我想看看在以前使用ARIMA的问题的背景下实现这一点。 我有一些已知的（但嘈杂的）季节性因素的数据-肯定有年度，每月和每周的因素，还有由于特殊日子（例如联邦或宗教假期）而产生的影响。 我使用了该bsts包来实现此目的，据我所知，我并没有做错任何事情，尽管组件和预测看起来并不像我期望的那样。我不清楚我的实现是否错误，不完整或存在其他问题。 全时系列如下所示： 我可以在数据的某些子集上训练模型，并且模型通常在拟合方面看起来不错（图如下）。我用来执行此操作的代码在这里： library(bsts) predict_length = 90 training_cut_date <- '2015-05-01' test_cut_date <- as.Date(training_cut_date) + predict_length df = read.csv('input.tsv', sep ='\t') df$date <- as.Date(as.character(df$date),format="%Y-%m-%d") df_train = df[df$date < training_cut_date,] yts <- xts(log10(df_train$count), order.by=df_train$date) ss <- AddLocalLinearTrend(list(), yts) ss <- AddSeasonal(ss, yts, nseasons = 7) ss <- AddSeasonal(ss, yts, nseasons …

15 r  time-series  bayesian  mcmc  bsts 

我有一个问题，为什么贝叶斯推理会导致棘手的问题。该问题通常是这样解释的： 我不明白的是为什么必须首先评估此积分：在我看来，积分的结果只是一个归一化常数（如给出数据集D所示）。为什么不能简单地将后验分布计算为右侧的分子，然后通过要求后验分布上的积分必须为1来推断此归一化常数呢？ 我想念什么？ 谢谢！

15 bayesian  inference 

我认为记住公式的一种好方法是考虑这样的公式： 给定独立事件B的结果，某些事件A具有特定结果的概率=两个结果同时发生的概率/无论我们说事件A期望结果的概率是如果我们不知道事件B的结果。 例如，考虑一个疾病测试：如果我们有一个患者的疾病测试呈阳性，并且我们知道：40％的疾病患者在我们的测试中呈阳性；60％的人患有这种疾病；共有26％的人对该病呈阳性反应；然后得出： 1）在我们抽样的所有人中，有24％的人呈阳性并患有疾病，这意味着在26名呈阳性的人中有24人患有该疾病；因此，2）该特定患者患病的可能性为92.3％。

15 bayesian  bayes 

审阅者要求我们提供p值，以便更好地了解我们的贝叶斯多级模型中的模型估计。该模型是实验中每个参与者的多个观察值的典型模型。我们使用Stan估计了模型，因此我们可以轻松地计算其他后验统计量。目前，我们正在报告（通过视觉和表格形式）平均估算值以及0.025和0.975分位数。 到目前为止，我的回应包括： P值与贝叶斯模型不一致，即P（X| θ）≠P（θ | X）。P（X|θ）≠P（θ|X）。P(X|\theta) \neq P(\theta|X). 基于后验，我们可以计算出参数大于（小于）0的概率。这看起来有点像传统的p值。 我的问题是，这是否可以使评论者满意，还是只会引起更多的混乱？ 10月10日更新：考虑到答案，我们使用建议将论文重写了。该论文已被接受，因此我将重申先前的评论，这确实是有用的建议！

15 bayesian  p-value  multilevel-analysis 

我听说，如果适当选择先验，则可以将岭回归作为后验分布的平均值。直觉是先验对回归系数设置的约束（例如，标准正态分布在0附近）是否相同/替换对系数平方大小设置的惩罚？要保持等价，先验是否必须是高斯？

15 bayesian  prior  ridge-regression