Questions tagged «bayesian»

我目前正在使用R中的JAGS学习分层贝叶斯模型，并使用Python（“黑客的贝叶斯方法”）学习pymc 。 我可以从这篇文章中得到一些直觉：“最终，您会得到一堆看起来像是在某种程度上设法从想要了解的复杂分布中提取独立样本的数字。” 就像我可以给出条件概率，然后我可以基于条件概率生成无记忆过程。当我生成过程足够长的时间时，联合概率可以收敛。然后我可以在生成的序列的末尾取一堆数字。就像我从复杂的联合分布中提取独立样本一样。例如，我可以制作直方图，它可以近似分布函数。 然后我的问题是，我是否需要证明MCMC是否针对某个模型收敛？我很高兴知道这一点，因为我以前学习了GMM和LDA（图形模型）的EM算法。如果我只使用MCMC算法而不证明它是否收敛，那么它可以比EM节省更多时间。由于我将必须计算预期的对数似然函数（必须计算后验概率），然后使预期的对数似然率最大化。它显然比MCMC麻烦（我只需要表述条件概率）。 我也想知道似然函数和先验分布是否共轭。这是否意味着MCMC必须收敛？我想知道MCMC和EM的局限性。

9 bayesian  mcmc  expectation-maximization 

在系统发育学中，通常使用MLE或贝叶斯分析来构建系统发育树。通常，在贝叶斯估计中使用统一的先验。据我了解，贝叶斯估计是结合先验的可能性估计。我的问题是，如果您使用平坦先验，则与仅进行似然分析有什么不同吗？

9 bayesian  confidence-interval  maximum-likelihood  likelihood  phylogeny 

如果您有仪器的测量误差，如何计算适当的先验值？本段摘自Cressie的书“时空数据统计”： 通常情况下，可以使用一些有关测量误差方差的先验信息，从而可以指定相当有用的参数模型。例如，如果我们假设条件独立的测量误差为iid ，那么我们应该为指定一个信息先验。假设我们对环境空气温度感兴趣，并且我们看到仪器制造商的技术指标表明“误差”为±0.1°C。假定此“错误”对应于2个标准差（应检查的假设！），然后我们可以指定\ sigma _ {\ epsilon} ^ {2}的先前平均值为（0.1 / 2）^ 2 = 0.0025Gau(0,σ2ϵ)Gau(0,σϵ2)Gau(0, \sigma_{\epsilon}^2)σ2ϵσϵ2\sigma_{\epsilon}^2±0.1°C±0.1°C±0.1°Cσ2ϵσϵ2\sigma_{\epsilon}^{2}(0.1/2)2=0.0025(0.1/2)2=0.0025(0.1/2)^2 = 0.0025。由于仪器制造商的规范，我们假设分布在0.0025处具有明确定义且相当窄的峰（例如，反伽马）。实际上，我们可以将其固定为0.0025；但是，数据模型错误也可能具有其他不确定性因素（第7.1节）。为避免过程模型错误可能引起的可识别性问题，建模人员应尽可能减少《科学》杂志的不确定性，包括进行旨在复制数据的辅助研究，这一点非常重要。 有谁知道如上所述获得先验值的一般程序是什么（尽管该段仅涉及获得先验均值）？

9 bayesian  standard-error  error  prior  measurement-error 

我正在阅读Judea Pearl的“因果关系”（2009年第二版），并在第1.1.5条“条件独立性和图形素”中指出： 以下是由条件独立关系（X_ || _Y | Z）满足的属性的（部分）列表。 对称性：（X_ || _ Y | Z）==>（Y_ || _X | Z）。 分解：（X_ || _ YW | Z）==>（X_ || _Y | Z）。 弱联合：（X_ || _ YW | Z）==>（X_ || _Y | ZW）。 收缩：（X_ || _ Y | Z）＆（X_ || _ W | ZY）==>（X_ || _ …

9 self-study  bayesian 

我正在研究Kruschke的《做贝叶斯数据分析》中的示例，特别是ch中的泊松指数方差分析。22，他作为对偶发表独立性的频繁卡方检验的替代品。 我可以看到我们如何获得有关变量交互比独立变量（即，当HDI排除零时）所期望的交互频率更高或更低的信息。 我的问题是如何在此框架中计算或解释效果大小？例如，克鲁什克（Kruschke）写道：“蓝眼睛和黑发的组合发生的频率要比如果眼睛的颜色和头发的颜色独立的情况下发生的频率要低”，但是我们如何描述这种关联的强度？我如何分辨哪些互动比其他互动更极端？如果我们对这些数据进行卡方检验，则可以计算Cramér的V，作为整体效果大小的度量。如何在这种贝叶斯语境中表达效果大小？ 这是本书中的独立示例（代码为R），以防万一答案在我眼前隐藏在我眼前…… df <- structure(c(20, 94, 84, 17, 68, 7, 119, 26, 5, 16, 29, 14, 15, 10, 54, 14), .Dim = c(4L, 4L), .Dimnames = list(c("Black", "Blond", "Brunette", "Red"), c("Blue", "Brown", "Green", "Hazel"))) df Blue Brown Green Hazel Black 20 68 5 15 Blond 94 7 16 …

9 r  bayesian  effect-size  contingency-tables 

我正在参加贝叶斯入门课程，但在理解预测分布方面有些困难。我了解它们为什么有用，并且我对定义很熟悉，但是有些事情我不太了解。 1）如何获得新观测向量的正确预测分布 假设我们已经为数据和先前的建立了一个采样模型。假设观测值在给定条件下是独立的。p(yi|θ)p(yi|θ)p(y_i | \theta)p(θ)p(θ)p(\theta)yiyiy_iθθ\theta 我们已经观察到一些数据，并且将先前的更新为后验。D={y1,y2,...,yk}D={y1,y2,...,yk}\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}p(θ)p(θ)p(\theta)p(θ|D)p(θ|D)p(\theta | \mathcal{D}) 如果我们想预测新观测值的向量，我认为我们应该尝试使用此公式获得后验预测 不等于 所以预测的观测值不是独立的，对不对？N={y~1,y~2,...,y~n}N={y~1,y~2,...,y~n}\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}p(N|D)=∫p(θ|D)p(N|θ)dθ=∫p(θ|D)∏i=1np(y~i|θ)dθ,p(N|D)=∫p(θ|D)p(N|θ)dθ=∫p(θ|D)∏i=1np(y~i|θ)dθ, p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i …

9 bayesian  prediction 

从数学的角度来看，贝叶斯定理对我来说是完全有意义的（即推导和证明），但是我不知道是否有一个很好的几何或图形论证可以用来解释贝叶斯定理。我尝试了Googling以获得答案，但令人惊讶的是我找不到任何东西。

9 bayesian  bayes  geometry 

我正在研究不同的点估计方法，并读到当使用MAP与ML估计时，当我们使用“统一先验”时，估计是相同的。有人可以解释什么是“统一”先验，并给出一些（简单的）MAP和ML估计量何时相同的示例吗？

9 machine-learning  probability  bayesian  estimation  maximum-likelihood 

假设我正在执行一项针对特定健康措施的分析。我对患者和对照组之间在该指标上的差异以及差异是否与0感兴趣。过去有研究针对我相同的研究问题和健康指标，但对患者的样本不同。 在贝叶斯分析中，我将基于先前的研究（包括均值差和标准误差）建立先验分布。 如果这是一个新手问题，请原谅我，因为我正在学习贝叶斯统计数据，但是贝叶斯分析的结果与使用反向方差加权荟萃分析结合了来自贝叶斯统计的均值差异估计的结果在哪些方面有所不同？使用我当前的数据进行的先前研究？

9 bayesian  meta-analysis  case-control-study 

其中大部分是背景知识，如果您已经对Dirichlet过程混合物有足够的了解，请跳到最后。假设我正在建模来自Dirichlet进程混合的某些数据，即让并以条件假定F∼D(αH)F∼D(αH)F \sim \mathcal D(\alpha H)FFFYi∼iid∫f(y|θ)F(dθ).Yi∼iid∫f(y|θ)F(dθ).Y_i \stackrel {iid}{\sim} \int f(y | \theta) F(d\theta). 这里和是现有基础量度。事实证明，如果对于每个观测，如果我知道相关的潜伏，则此模型中的可能性为，其中是的不同值的数量（随机度量几乎肯定是离散的）。Escobar和West开发了以下使用Gamma优先级对进行采样的方案；首先，他们写α>0α>0\alpha > 0αHαH\alpha HYiYiY_iθiθi\theta_iαα\alphaL(α|t)∝αtΓ(α)Γ(α+n)L(α|t)∝αtΓ(α)Γ(α+n)L(\alpha | t) \propto \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)}tttθiθi\theta_iFFFαα\alphaπ(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫10xα(1−x)n−1 dx,π(α|t)∝π(α)αtΓ(α)Γ(α+n)∝π(α)αt−1(α+n)B(α+1,n)=π(α)αt−1(α+n)∫01xα(1−x)n−1 dx, \pi(\alpha | t) \propto \pi(\alpha) \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)} \propto \pi(\alpha)\alpha^{t - 1}(\alpha + n){B(\alpha + 1, n)} \\= \pi(\alpha)\alpha^{t - 1} (\alpha + n) \int_0^1 x^\alpha(1 …

9 bayesian  nonparametric-bayes 

我想围绕这个话题进行探讨，但是很难从白皮书和教程中学习，因为教科书通常会填补许多空白。 如果重要的话，我会像攻读博士学位一样具有相对较强的数学背景。应用数学（更精确地讲，CFD）。

9 bayesian  nonparametric  references  nonparametric-bayes 

stan（特别是rstan）是否具有内置的设施来生成可预测的后验分布？ 从固定拟合中生成分布并不难，但我宁愿不要重新发明轮子。

9 bayesian  posterior  stan 

众所周知，随着您拥有更多的证据（例如，对于 nid个示例，以更大的的形式出现），贝叶斯先验被“遗忘”，并且大多数推论都受到证据（或可能性）的影响。nnnnnn 很容易在各种特定情况下看到它（例如带有Beta优先级的Bernoulli或其他类型的示例）-但是在和一些先前的？x1,…,xn∼p(x|μ)x1,…,xn∼p(x|μ)x_1,\ldots,x_n \sim p(x|\mu)p(μ)p(μ)p(\mu) 编辑：我猜想它不能在一般情况下显示任何先验（例如，先有先有质量将使后验有先有质量）。但是也许在某些情况下会忘记先验。 这是我正在考虑显示的“路径”类型： 假设参数空间为，并且令和为两个先验值，它们在所有上放置非零概率质量。因此，每个先验的两次后验计算为：ΘΘ\Thetap(θ)p(θ)p(\theta)q(θ)q(θ)q(\theta)ΘΘ\Theta p(θ|x1,…,xn)=∏ip(xi|θ)p(θ)∫θ∏ip(xi|θ)p(θ)dθp(θ|x1,…,xn)=∏ip(xi|θ)p(θ)∫θ∏ip(xi|θ)p(θ)dθp(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta} 和 q(θ|x1,…,xn)=∏ip(xi|θ)q(θ)∫θ∏ip(xi|θ)q(θ)dθq(θ|x1,…,xn)=∏ip(xi|θ)q(θ)∫θ∏ip(xi|θ)q(θ)dθq(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta} 如果将除以（后验），则得到：pppqqq p(θ|x1,…,xn)/q(θ|x1,…,xn)=p(θ)∫θ∏ip(xi|θ)q(θ)dθq(θ)∫θ∏ip(xi|θ)p(θ)dθp(θ|x1,…,xn)/q(θ|x1,…,xn)=p(θ)∫θ∏ip(xi|θ)q(θ)dθq(θ)∫θ∏ip(xi|θ)p(θ)dθp(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | …

9 bayesian  prior 

我想知道整数子集上是否有任何标准分布。等效地，我们可以将其表示为二进制结果的长度向量上的分布，例如，如果则对应于向量。{1个，2，。。。，Ĵ}{1,2,...,J}\{1, 2, ..., J\}ĴJJĴ=5J=5J = 5{1个，3，5}{1,3,5}\{1, 3, 5\}（1个，0，1个，0，1个）(1,0,1,0,1)(1, 0, 1, 0, 1) 理想情况下，我要寻找的是分布，它来自以有限维参数索引的族，该分布将以这样的方式分布其质量，即两个二元向量和具有相似的它们“靠近”在一起的概率，即和具有相似的概率。确实，我希望能做的是在上放置一个先验值，这样，如果我知道相当大，则相对于远离向量可能很大。νθ（⋅）νθ(⋅)\nu_\theta (\cdot)θθ\theta[R1个r1r_1[R2r2r_2[R1个=（0，0，1个，0，1个）r1=(0,0,1,0,1)r_1 = (0, 0, 1, 0, 1)[R2=（0，0，1个，1个，1个）r2=(0,0,1,1,1)r_2 = (0, 0, 1, 1, 1)θθ\thetaνθ（[R1个）νθ(r1)\nu_\theta (r_1)νθ（[R2）νθ(r2)\nu_\theta (r_2)[R1个r1r_1 我想到的一种策略是在上放置度量或其他色散度量，然后取或类似的东西。一个明确的例子是与正态分布类似。很好，但是我希望有一些标准的并且适合贝叶斯分析的方法。我不能写下标准化常数。dθdθd_\theta{0，1个}Ĵ{0,1}J\{0, 1\}^Jνθ（[R）∝经验值（-dθ（[R，μ））νθ(r)∝exp(−dθ(r,μ))\nu_\theta (r) \propto \exp (-d_\theta (r, \mu))经验值{-‖[R-μ‖2/（2σ2）}exp{−∥r−μ∥2/(2σ2)}\exp\left\{-\|r - \mu\|^2 / (2 \sigma^2)\right\}

9 bayesian  discrete-data 

接下来的嫁接摘自本文。我是新手，要引导并尝试为带有R boot包的线性混合模型实现参数，半参数和非参数自举。 R代码 这是我的R代码： library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- function(data, indices){ data <- data[indices, ] mod <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out <- boot(data=Cultivation, statistic=boot.fn, R=99) Out 问题 …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography