Questions tagged «bayesian»

（我是统计工作的新手。我是数学家和程序员，我正在尝试构建类似朴素的贝叶斯垃圾邮件过滤器的工具。） 我注意到许多地方人们倾向于分解贝叶斯定理方程中的分母。所以代替这个： P(A|B)⋅P(B)P(A)P(A|B)⋅P(B)P(A)\frac{P(A|B)\cdot P(B)}{P(A)} 我们看到了这个： P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)P(A|B)⋅P(B)P(A|B)⋅P(B)+P(A|¬B)⋅P(¬B)\frac{P(A|B)\cdot P(B)}{P(A|B)\cdot P(B)+P(A|\neg B)\cdot P(\neg B)} 您可以看到此约定在本Wikipedia文章和Tim Peters的这篇有深刻见解的帖子中使用。 我对此感到困惑。为什么分母会这样分解？这对一切有什么帮助？计算有何复杂之处？对于垃圾邮件过滤器而言，这将是什么？P(A)P(A)P(A)The probability that the word "cheese" appears in an email, regardless of whether it's spam or not

23 bayesian 

我一直试图了解贝叶斯统计中的共轭先验的想法，但我只是不明白。谁能用最简单的术语来解释这个想法，也许以“高斯先验”为例？

23 bayesian  conditional-probability  conjugate-prior 

安德鲁·盖尔曼（Andrew Gelman）写了一篇广泛的文章，论述为什么贝叶斯AB测试不需要多个假设校正：为什么我们（通常）不必担心多重比较，2012年。 我不太了解：为什么贝叶斯方法不需要多次测试更正？ A ~ Distribution1 + Common Distribution B ~ Distribution2 + Common Distribution C ~ Distribution3 + Common Distribution Common Distribution ~ Normal 我的理解是，以上显示的贝叶斯方法解释了所有假设的共同基础分布（与常客Bonferroni修正不同）。我的推理正确吗？

22 hypothesis-testing  bayesian  multiple-comparisons 

我浏览了有关正则化的文献，经常看到一些段落将L2重新调节与高斯先验联系起来，将L1与拉普拉斯联系起来的中心是零。 我知道这些先验的样子，但我不知道它如何转换为线性模型中的权重。在L1中，如果我理解正确，我们期望稀疏解，即某些权重将被精确地推为零。在L2中，我们获得较小的权重，但没有获得零权重。 但是为什么会发生呢？ 如果需要提供更多信息或阐明我的思路，请发表评论。

22 regression  bayesian  prior  regularization  laplace-distribution 

我有兴趣估算连续随机变量的密度。我学到的一种方法是使用内核密度估计。XXX 但是现在，我对遵循以下思路的贝叶斯方法感兴趣。我最初认为服从分配。我采取的读数。有什么方法可以根据我的新读物来更新？XXXFFFnnnXXXFFF 我知道我听起来好像在自相矛盾：如果我只相信是我的先前发行记录，那么没有数据可以说服我。但是，假设是而我的数据点是。看到，我显然不能坚持以前的做法，但是应该如何更新呢？FFFFFFUnif[0,1]Unif[0,1]Unif[0,1](0.3,0.5,0.9,1.7)(0.3,0.5,0.9,1.7)(0.3, 0.5, 0.9, 1.7)1.71.71.7 更新：根据评论中的建议，我开始研究Dirichlet过程。让我使用以下符号： G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2)G∼DP(α,H)θi|G∼Gxi|θi∼N(θi,σ2) G \sim DP(\alpha,H)\\ \theta_i | G \sim G\\ x_i | \theta_i \sim N(\theta_i,\sigma^2) 用这种语言构架了我原来的问题之后，我想我对以下内容感兴趣：。如何做到这一点？θn+1|x1,...,xnθn+1|x1,...,xn\theta_{n+1} | x_1,...,x_n 在这套笔记（第2页）中，作者举了的示例。（Polya方案）。我不确定这是否相关。θn+1|θ1,...,θnθn+1|θ1,...,θn\theta_{n+1} | \theta_1,...,\theta_n 更新2：我也想问（在看到注释之后）：人们如何选择DP的？似乎是一个随机选择。另外，人们如何为DP 选择先前的？我应该只使用先验作为先验吗？αα\alphaHHHθθ\thetaHHH

22 bayesian  pdf  nonparametric-bayes  dirichlet-process 

我目前正在经历David Barber撰写的“贝叶斯推理和机器学习”，这是一本写得很好并且引人入胜的书，用于学习基础知识。对已经这样做的人来说是一个问题。当我对Barber的大多数概念有一定的熟练程度后，我应该阅读哪些下一本书？

22 machine-learning  bayesian  references  graphical-model 

当尝试在各种模型或要包括的特征数量中进行选择时，比如说预测，我可以想到两种方法。 将数据分为训练集和测试集。更好的是，使用自举或k折交叉验证。每次都在训练集中进行训练，并计算测试集中的误差。绘制测试误差与参数数量的关系图。通常，您会得到以下内容： 通过对参数值进行积分来计算模型的可能性。即，计算，并将其与参数数量相对应。然后，我们得到如下内容：∫θP（D | θ ）P（θ ）dθ∫θP（d|θ）P（θ）dθ\int_\theta P(D|\theta)P(\theta)d \theta 所以我的问题是： 这些方法是否适合解决此问题（确定模型中要包含多少参数，或在多个模型中进行选择）？ 它们相等吗？可能不会。他们会在某些假设下还是在实践中给出相同的最佳模型？ 除了在贝叶斯模型等中指定先验知识的通常的哲学差异之外，每种方法的优缺点是什么？您会选择哪一个？ 更新： 我还发现了有关比较AIC和BIC 的相关问题。看来我的方法1与AIC渐近等效，而方法2与BIC渐近相关。但我在那里也读到，BIC等同于“留一法”简历。这意味着在LOO CV等于K倍CV的情况下，训练误差最小值和贝叶斯似然最大值相等。邵军的一篇也许非常有趣的论文“ 线性模型选择的渐近理论 ”与这些问题有关。

22 bayesian  model-selection  cross-validation  feature-selection 

生成模型和判别（判别）模型之间有什么区别（在贝叶斯学习和推理的背景下）？ 它与预测，决策理论或无监督学习有什么关系？

22 bayesian  predictive-models  unsupervised-learning 

我们知道，在适当分配优先权的情况下， P（θ | X）= P（X| θ ）P（θ ）P（X）P（θ∣X）=P（X∣θ）P（θ）P（X）P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)} α P（X| θ ）P（θ ）∝P（X∣θ）P（θ） \propto P(X \mid \theta)P(\theta)。 该步骤的通常的理由是，边缘分布XXX，P（X）P（X）P(X)，是相对于恒定θθ\theta和导出后验分布时可因此被忽略。 但是，如果先验不正确，您如何知道后验分布实际上存在？这个看似循环的论点似乎有些缺失。换句话说，如果我假设后验存在，那么我就会理解如何推导后验的机制，但是我似乎缺少关于为何甚至存在的理论依据。 PS我也认识到，在某些情况下，先验错误会导致后验错误。

22 distributions  bayesian  prior  posterior 

我一直在尝试根据先验，后验，似然和边际概率对贝叶斯定理进行基于直觉的理解。为此，我使用以下等式： 其中代表假设或信念，代表数据或证据。 我已经了解了后验的概念-它是一个结合了先验信念和事件可能性的统一实体。我不明白的是什么呢的可能性，意味着什么？为什么边际 ABP（B | A ）= P（A | B ）P（B ）P（一）P（乙|一种）=P（一种|乙）P（乙）P（一种）P(B|A) = \frac{P(A|B)P(B)}{P(A)}一种一种A乙乙B分母中的概率？ 在回顾了一些资源之后，我发现了这句话： 的似然性是事件的重量通过的发生给定 ...是后验事件的概率，假定事件已经发生。A P （B | A ）B A乙乙B一种一种AP（B | A ）P（乙|一种）P(B|A)乙乙B一种一种A 以上2句话对我来说似乎是相同的，只是写法不同。谁能解释一下两者之间的区别？

22 bayesian  likelihood  intuition 

有些资料说似然函数不是条件概率，有些则说是。这让我很困惑。 根据我所见的大多数资料，给定样本，具有参数的分布的可能性应该是概率质量函数的乘积：θθ\thetannnxixix_i L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta) 例如，在Logistic回归中，我们使用优化算法来最大化似然函数（最大似然估计），以获得最优参数，从而获得最终的LR模型。给定我们假设彼此独立的训练样本，我们希望最大化概率乘积（或联合概率质量函数）。这对我来说似乎很明显。nnn 根据“ 可能性，条件概率和失败率之间的关系 ”，“可能性不是概率，也不是条件概率”。它还提到：“仅在贝叶斯对似然性的理解中，即，如果假设是随机变量，那么似然性就是条件概率。”θθ\theta 我读到了关于在常客和贝叶斯之间对待学习问题的不同观点。 根据消息来源，对于贝叶斯推断，我们具有先验，似然性，并且我们希望使用贝叶斯定理获得后验：P(θ)P(θ)P(\theta)P(X|θ)P(X|θ)P(X|\theta)P(θ|X)P(θ|X)P(\theta|X) P(θ|X)=P(X|θ)×P(θ)P(X)P(θ|X)=P(X|θ)×P(θ)P(X)P(\theta|X)=\dfrac{P(X|\theta) \times P(\theta)}{P(X)} 我不熟悉贝叶斯推理。为什么P(X|θ)P(X|θ)P(X|\theta)，其是在它的参数条件所观察到的数据的分发，也被称为可能性有多大？在Wikipedia中，它说有时写成L(θ|X)=p(X|θ)L(θ|X)=p(X|θ)L(\theta|X)=p(X|\theta)。这是什么意思？ Frequentist和Bayesian对可能性的定义之间有区别吗？ 谢谢。 编辑： 解释贝叶斯定理的方法有多种-贝叶斯定理和惯常论的解释（请参阅：贝叶斯定理-维基百科）。

21 probability  bayesian  conditional-probability  likelihood  frequentist 

前言 这是一个很长的帖子。如果您正在重新阅读本文档，请注意，尽管背景材料保持不变，但我已经修改了问题部分。此外，我相信我已经设计出解决该问题的方法。该解决方案显示在帖子的底部。感谢CliffAB指出我的原始解决方案（从该帖子中编辑；请参阅该解决方案的编辑历史）必定产生了偏差估计。 问题 在机器学习分类问题中，评估模型性能的一种方法是通过比较ROC曲线或ROC曲线下的面积（AUC）。但是，据我观察，对ROC曲线的可变性或AUC的估计很少进行讨论。也就是说，它们是根据数据估算的统计信息，因此存在一些与之相关的错误。表征这些估计中的误差将有助于表征，例如，一个分类器是否确实优于另一个分类器。 为了解决这个问题，我开发了以下方法（称为ROC曲线的贝叶斯分析）。我对这个问题的思考有两个主要观察结果： ROC曲线由来自数据的估计数量组成，并且适合贝叶斯分析。 ROC曲线是通过将真实的阳性率对于假阳性率绘制而成的，每个假性率本身都是根据数据估算的。我考虑和函数，用于从B对A类进行排序的决策阈值（随机森林中的树票，SVM中距超平面的距离，逻辑回归中的预测概率等）。改变决策阈值值将返回和不同估计值。此外，我们可以考虑˚F P - [R （θ ）Ť P ř ˚F P - [R θ θ Ť P ř ˚F P ř Ť P - [R （θ ）Ť PŤPR （θ ）TPR(θ)TPR(\theta)FPR （θ ）FPR(θ)FPR(\theta)ŤP[RTPRTPRFP[RFPRFPRθθ\thetaθθ\thetaŤP[RTPRTPRFP[RFPRFPRŤPR （θ ）TPR(θ)TPR(\theta)在一系列的伯努利试验中估计成功的可能性。实际上，TPR定义为它也是成功且总试验中二项式成功概率的MLE 。TPTP+FN>0ŤPŤP+ Fñ，TPTP+FN,\frac{TP}{TP+FN},ŤPTPTPŤP+ Fñ> 0TP+FN>0TP+FN>0 因此，通过将和的输出视为随机变量，我们面临着一个估计二项式实验成功概率的问题，在该二项式实验中，成功和失败的数目是确切已知的（给定通过，，和，我假设都是固定的）。按照惯例，仅使用MLE，并假设TPR和FPR对于特定值是固定的˚F P - [R （θ ）Ť P …

21 machine-learning  bayesian  sampling  roc  auc 

我在理解贝叶斯自举过程是什么以及与常规自举有何不同时遇到了麻烦。而且，如果有人可以提供直观/概念性的评论并进行比较，那将很棒。 让我们举个例子。 假设我们有一个[1,2,5,7,3]的数据集X。 如果我们多次采样替换来创建等于X大小的样本（所以[7,7,2,5,7]，[3,5,2,2,7]等），那么我们计算每个的均值，是样本均值的自举分布吗？ 贝叶斯引导分布是什么？ 以及如何以相同方式完成其他参数（方差等）的贝叶斯自举分布？

21 bayesian  sampling  bootstrap 

我知道先验不一定合适，似然函数也不会积分为1。但是后验是否需要适当分配？如果是/不是，这意味着什么？

21 distributions  bayesian  posterior 

如果先验和可能性彼此之间非常不同，则有时会发生后验与两者都不相似的情况。例如，请参阅此图片，它使用正态分布。 尽管从数学上讲这是正确的，但是这似乎与我的直觉不符-如果数据与我坚信不移的信念或数据不符，我希望这两个范围都不会表现良好，并且期望后验整个范围或围绕先验和可能性的双峰分布（我不确定哪个更合乎逻辑）。我当然不会期望在既不符合我先前的信念也不符合数据的范围内出现后紧态。我知道随着收集到更多数据，后验将朝着可能性发展，但是在这种情况下，这似乎是违反直觉的。 我的问题是：我对这种情况的理解是有缺陷的（还是有缺陷的）。在这种情况下，后验函数是否正确？如果没有，还可以如何建模？ 为了完整性起见，先验被指定为，似然度被指定为。N（μ = 6.1 ，σ = 0.4 ）ñ（μ = 1.5 ，σ= 0.4 ）N(μ=1.5,σ=0.4)\mathcal{N}(\mu=1.5, \sigma=0.4)ñ（μ = 6.1 ，σ= 0.4 ）N(μ=6.1,σ=0.4)\mathcal{N}(\mu=6.1, \sigma=0.4) 编辑：看一些给出的答案，我觉得我没有很好地解释这种情况。我的观点是，鉴于模型中的假设，贝叶斯分析似乎会产生非直觉的结果。我的希望是，后验将以某种方式“解释”错误的建模决策，但考虑到这一点绝对不是这种情况。我将在回答中对此进行扩展。

21 bayesian  prior  posterior  likelihood