Questions tagged «bayesian»

在常客统计中，置信区间为95％是一个区间生成过程，如果重复无数次，则95％的时间将包含真实参数。为什么这有用？ 置信区间常常被误解。它们不是我们可以95％确定参数所在的间隔（除非您使用的是类似的贝叶斯可信度间隔）。置信区间对我来说就像个诱饵和开关。 我可以想到的一个用例是提供不能拒绝参数为该值的原假设的值范围。p值不能提供此信息，但是更好吗？不会这么误导？ 简而言之：为什么我们需要置信区间？如果正确解释，它们如何有用？

11 hypothesis-testing  bayesian  mathematical-statistics  confidence-interval  frequentist 

我经常与他们谈论贝叶斯层次模型中的信息借用或信息共享。对于这实际上意味着什么以及贝叶斯层次模型是否独特，我似乎无法获得一个直接的答案。我有点主意：层次结构中的某些级别共享一个公共参数。我不知道这如何转换为“信息借用”。 人们喜欢扔掉“信息借用” /“信息共享”这句话吗？ 是否有一个封闭形式的后继例子来说明这种共享现象？ 这是贝叶斯分析所独有的吗？通常，当我看到“信息借用”示例时，它们只是混合模型。也许我以一种老式的方式学习了这种模型，但是我看不到任何共享。 我对开始有关方法的哲学辩论不感兴趣。我只是对这个术语的使用感到好奇。

11 machine-learning  bayesian  multilevel-analysis  terminology  hierarchical-bayesian 

（此问题的灵感来自西安的评论。） 众所周知的是，如果先验分布π（θ ）π(θ)\pi(\theta)是适当的和似然L （θ | x ）L(θ|x)L(\theta | x)是良好定义的，然后将后验分布π（θ | X ）α π（θ ）L （θ | x ）π(θ|x)∝π(θ)L(θ|x)\pi(\theta|x)\propto \pi(\theta) L(\theta|x)几乎可以肯定是正确的。 在某些情况下，我们改用经过调和或取幂的可能性，从而导致伪后验 π〜（θ | X ）α π（θ ）L （θ | x ）απ~(θ|x)∝π(θ)L(θ|x)α\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha 为一些α > 0α>0\alpha>0（例如，这可以具有计算上的优点）。 在这种情况下，是否可能有适当的先验但伪后验不当？

11 bayesian  prior  posterior 

贝叶斯估计量是否不受选择偏差的影响？ 大多数讨论高维估计的论文，例如整个基因组序列数据，通常会提出选择偏见的问题。选择偏差是由于以下事实而产生的：尽管我们有成千上万的潜在预测变量，但只有很少的预测变量会被选择，并且对所选的少数变量进行推断。因此，该过程分两个步骤进行：（1）选择预测变量的子集（2）对选择集进行推断，例如估计比值比。戴维德（Dawid）在其1994年的悖论论文中重点研究了无偏估计量和贝叶斯估计量。他将问题简化为选择最大的效果，这可能是治疗效果。 然后他说，无偏估计量受选择偏差的影响。他使用了这个例子：假设 然后每个Z iZi∼N(δi,1),i=1,…,NZi∼N(δi,1),i=1,…,N Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N ZiZiZ_i对于是无偏的。令 ，估计量 但是有偏见（肯定地）表示\ max \ {\ delta_1，\ delta_2，\ ldots，\ delta_N \}。用詹森的不等式可以很容易地证明这一说法。因此，如果我们知道i _ {\ max}，即最大\ delta_i的索引，我们将仅使用Z_ {i _ {\ max}}作为其估计量而无偏。但是因为我们不知道这一点，所以我们使用\ gamma_1（\ mathbf {Z}）来代替它（有偏）。ž = （Ž 1，Ž 2，... ，Ž Ñ ）Ť γ 1（ż）= 最大{ Ž 1，Ž 2，... ，ž Ñ } 最大值{ δ 1，δ 2，... …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

我正在阅读Steven Scott关于BSTS R包的幻灯片（您可以在这里找到它们：slides）。 在某个时候，当谈到在结构时间序列模型中包括许多回归变量时，他介绍了回归系数的尖峰和板坯先验，并说与惩罚方法相比，它们更好。 斯科特（Scott）说，以一个具有100个预测变量的数据集为例： 惩罚方法对包含/排除哪些变量做出单一决定，这意味着它们决定了一个预测子集，即在可能变量中的一个模型。210021002^{100} “套索（和相关）先验不稀疏，它们在模式下而不是后验分布上引起稀疏” 在这一点上，他介绍了Spike和Slab先验。 我想我有直觉，但我想确定一下： 从根本上说，他们基本上使用蛮力方法测试要包括的每个回归变量子集是否更好？ 这样做的缺点是计算时间吗？ 当您说“套索（及相关）...但不在后验分布中”时，您认为他是什么意思？

11 r  bayesian  feature-selection  penalized  bsts 

我正在寻找一些有关贝叶斯统计基本 MCMC（带有R）的实用和理论示例的论文或书籍。我从来没有研究过模拟，这就是为什么我要寻找“基本”信息。你能给我一些建议吗？

11 bayesian  references  mcmc 

对于我们应该进行贝叶斯参数估计还是贝叶斯假设检验，贝叶斯社区内部似乎正在进行辩论。我有兴趣征求对此的意见。这些方法的相对优点和缺点是什么？在哪一种情况下比另一种情况更合适？我们应该同时进行参数估计和假设检验吗？

11 hypothesis-testing  bayesian 

这是理想的情况，其中可以很好地了解类别所依据的概率结构。 为什么使用贝叶斯分类器可以达到可以实现的最佳性能？ 对此的正式证明/解释是什么？由于我们始终使用贝叶斯分类器作为基准来比较所有其他分类器的性能。

11 probability  classification  bayesian  bayes 

以下摘录自《博尔斯塔德的贝叶斯统计概论》。 对于所有在那里的专家来说，这可能是微不足道的，但是我不明白作者是如何得出结论的，我们不必进行任何积分就可以计算出某个值的后验概率。我理解第二个表达式，它是比例关系以及所有条件的来源（似然x Prior）。而且，我知道，我们不必担心分母，因为只有分子是直接成比例的。但是，继续讲第三个方程式，我们是否就忘记了贝叶斯规则的分母？去哪了？而且由Gamma函数计算的值不是常数吗？常数不会在贝叶斯定理中抵消吗？ππ\pi

11 distributions  bayesian  beta-distribution  conjugate-prior 

给定用于参数的MAP估计的公式 为什么需要MCMC（或类似方法），我不能仅采用导数，将其设置为零然后求解参数吗？

11 bayesian  estimation  mcmc 

当我在研究生统计推断课程中了解Jeffreys的先驱时，我的教授们听起来听起来像是有趣的，主要是出于历史原因，而不是因为有人会使用它。然后，当我进行贝叶斯数据分析时，我们从未被要求使用杰弗里斯的先验知识。有人实际使用这些吗？如果是这样（如果不是），为什么或为什么不呢？为什么有些统计学家不重视它？

11 bayesian  prior  jeffreys-prior 

我正在使用PyMC3在数据上运行贝叶斯模型。 我是贝叶斯建模的新手，但是根据一些博客文章，该站点的Wikipedia和QA所述，使用贝叶斯因子和BIC准则来选择最能代表我的数据的模型似乎是一种有效的方法（我的数据）。 要计算贝叶斯因子，我需要要比较的模型的相对可能性。这可能会让我感到困惑，但是我认为有两种方法可以获取可能性（如果我错了，请纠正我）： 模型简单时的代数方式：请参阅Wikipedia示例贝叶斯因子页面 数字方式：这就是PyMC3与MCMC算法的区别 如何获得可能性并比较PyMC3中的模型？我发现model.logp根据doc是“对数概率密度函数”的方法。我可以用它来获得可能性吗？ 奖励问题：比较两个模型时，会计算两个似然比。如果要比较多个模型会怎样？ 一个具体的PyMC3示例将非常有帮助！

11 bayesian  model-selection  pymc 

我必须承认，我以前从未在本科或研究生班上听说过该词。 Logistic回归为贝叶斯是什么意思？我正在寻找从常规物流到贝叶斯物流的过渡解释，类似于以下内容： 这是线性回归模型的方程：E(y)=β0+β1x1+...+βnxnË（ÿ）=β0+β1个X1个+。。。+βñXñE(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n。 这是逻辑回归模型中的方程式：。当y是绝对值时完成此操作。ln(E(y)1−E(y))=β0+β1x1+...+βnxnln⁡（Ë（ÿ）1个-Ë（ÿ））=β0+β1个X1个+。。。+βñXñ\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n 我们要做的是将更改为。E(y)Ë（ÿ）E(y)ln(E(y)1−E(y))ln⁡（Ë（ÿ）1个-Ë（ÿ））\ln(\frac{E(y)}{1-E(y)}) 那么在贝叶斯逻辑回归中对逻辑回归模型做了什么？我猜想这与方程式无关。 这本书的预览似乎定义了，但我不太了解。这些先前的可能性是什么？是什么？有人可以用另一种方式解释本书的这一部分或贝叶斯逻辑模型吗？αα\alpha 注意：这是我之前问过的，但回答得不是很好。

11 regression  logistic  bayesian  multiple-regression  generalized-linear-model 

假设两个类和具有属性并具有分布和。如果我们对于以下成本矩阵具有相等的先验：C1C1C_1C2C2C_2xxxN(0,0.5)N(0,0.5) \cal{N} (0, 0.5)N(1,0.5)N(1,0.5) \cal{N} (1, 0.5)P(C1)=P(C2)=0.5P(C1)=P(C2)=0.5P(C_1)=P(C_2)=0.5 L=[010.50]L=[00.510]L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} 为什么是最低风险（成本）分类器的阈值？x0&lt;0.5x0&lt;0.5x_0 < 0.5 这是我误会的注释示例（即，如何达到此阈值？） 编辑1：我认为对于似然比的阈值，我们可以使用P（C1）/ P（C2）。 编辑2：我从Duda Book on Pattern上添加了一些有关阈值的文本。

11 machine-learning  classification  bayesian  normal-distribution  bivariate 

我正在研究Normal-Wishart后验的推导，但是我陷入了其中一个参数（比例矩阵的后验，见底部）的问题。 仅出于上下文和完整性考虑，以下是模型和其他派生工具： xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)\begin{align} x_i &\sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Lambda})\\ \boldsymbol{\mu} &\sim \mathcal{N}(\boldsymbol{\mu_0}, (\kappa_0 \boldsymbol{\Lambda})^{-1})\\ \boldsymbol{\Lambda} &\sim \mathcal{W}(\upsilon_0, \mathbf{W}_0) \end{align} 这三个因子中每个因子的展开形式为（最大比例常数）为： 可能性： N(xi|μ,Λ)∝|Λ|N/2exp(−12∑i=1N(xTiΛxi−2μTΛxi+μTΛμ))N(xi|μ,Λ)∝|Λ|N/2exp⁡(−12∑i=1N(xiTΛxi−2μTΛxi+μTΛμ))\begin{align} \mathcal{N}(\mathbf{x}_i &| \boldsymbol{\mu}, \boldsymbol{\Lambda}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{N/2} \exp{\left(-\frac{1}{2}\sum_{i=1}^N \left( \mathbf{x}_i^T\boldsymbol{\Lambda}\mathbf{x}_i - 2 \boldsymbol{\mu}^T \boldsymbol{\Lambda}\mathbf{x}_i + \boldsymbol{\mu}^T\boldsymbol{\Lambda}\boldsymbol{\mu}\right) \right)} \end{align} 普通优先级： N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp(−12(μTκ0Λμ−2μTκ0Λμ0+μT0κ0Λμ0))N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp⁡(−12(μTκ0Λμ−2μTκ0Λμ0+μ0Tκ0Λμ0))\begin{align} \mathcal{N}(\boldsymbol{\mu} &| (\boldsymbol{\mu}_0, \kappa_0 \boldsymbol{\Lambda})^{-1}) \propto\notag\\ &|\boldsymbol{\Lambda}|^{1/2} \exp{\left(-\frac{1}{2}\left( \boldsymbol{\mu}^T\kappa_0 \boldsymbol{\Lambda}\boldsymbol{\mu} - …

11 bayesian  posterior