帮助我了解贝叶斯先验和后验分布

124

在一组学生中，有18个学生中有2个是惯用左手的。假设先验信息不足，则找到惯用左手的学生在人群中的后验分布。总结结果。根据文献，5-20％的人是左撇子。事先考虑这些信息并计算新的后验。

我知道应该在这里使用beta发行版。首先， $\alpha$ 和 $\beta$ 值为1？我在后验材料中找到的等式是

π (r | Y) \propto r^{(Y + - 1)} \times (1 - r)^{(N - Y + - 1)}

$\pi(r \vert Y ) \propto r^{(Y +−1)} \times (1 − r)^{(N−Y +−1)} \\$

$Y=2$ ， $N=18$

为什么方程式中的？（ $r$ $r$ 表示惯用左手的人的比例）。这是未知的，那么怎么在等式中呢？对我来说，似乎是可笑的计算 $r$ 给出并使用方程给出的。好吧，对于样本，结果为。该我应该从演绎？ $Y$ $r$ $r$ $r=2/18$ $0,0019$ $f$

在已知和，给出的期望值的方程更好地工作，给了我，这听起来很正确。方程为其中值分配给和。考虑到先验信息，我应该给和提供什么值？ $R$ $Y$ $N$ $0,15$ $E(r | X, N, α, β) = (α + X)/(α + β + N)$ $1$ $α$ $β$ $α$ $β$

一些提示将不胜感激。关于先验和后验分布的一般性演讲也不会受到伤害（我含糊其词，但含糊其词）也要记住，我不是一个非常高级的统计学家（实际上，我是主要行业的政治学家），所以高等数学可能会飞过我的脑海。

— 鲍勃
source

您是否看过这个问题和答案？

— 大卫·罗宾逊

短语“ 找到惯用左手的学生的后验分布 ”是没有意义的。随机变量具有分布，并且“左撇子学生”不是rv我想您打算“ 找到 左撇子学生比例 的后验分布 ”。重要的是不要掩盖这些细节，而要弄清您实际上在说什么。

— 2013年

实际上，在阅读您的问题时，在我看来，您的问题不仅仅是简单地了解概率分布，而不仅仅是贝叶斯统计。它总是这样，一个分布函数（或者你有一个概率函数）的参数是一个未知的（随机变量）的函数。这完全是他们的重点。

— 2013年

评论不作进一步讨论；此对话已转移至聊天。

— gung

233

首先让我解释一下共轭先验是什么。然后，我将使用您的特定示例解释贝叶斯分析。贝叶斯统计包括以下步骤：

定义合并您对参数的主观信念的先验分布（在您的示例中，所关注的参数是左撇子的比例）。先验可以是“非信息性的”或“信息性的”（但是没有先验的信息，请参见此处的讨论）。
收集资料。
使用贝叶斯定理用数据更新您的先验分布，以获得后验分布。后验分布是一种概率分布，表示看到数据后您对参数的更新信念。
分析后验分布并总结（均值，中位数，标准差，分位数……）。

所有贝叶斯统计量的基础是贝叶斯定理，即

p o s t e r i o r \propto p r i o r \times l i k e l i h o o d

$\mathrm{posterior} \propto \mathrm{prior} \times \mathrm{likelihood}$

在您的情况下，可能性是二项式的。如果先验和后验分布在同一家族中，则先验和后验称为共轭分布。Beta分布是共轭先验，因为后验也是β分布。我们说β分布是二项式似然的共轭族。共轭分析很方便，但在现实世界中很少发生。在大多数情况下，必须通过MCMC在数字上找到后验分布（使用Stan，WinBUGS，OpenBUGS，JAGS，PyMC或其他程序）。

如果先验概率分布未积分为1，则称为不正确先验；如果它确实积分为1，则称为适当先验。在大多数情况下，不正确的先验不会对贝叶斯分析造成重大问题。不过，后验分布必须正确，即，后验必须整合为1。

这些经验法则直接遵循贝叶斯分析过程的性质：

如果先验信息不足，则后验很大程度上取决于数据（后验是数据驱动的）
如果先验是有益的，则后验是先验和数据的混合
先验知识越丰富，那么“改变”信念所需的数据就越多，可以这么说，因为后验在很大程度上是由先验信息驱动的
如果您有大量数据，则数据将控制后验分布（它们将使前验分布不堪重负）

可以在此帖子中找到有关beta分发的一些可能的“信息性”和“非信息性”先验的出色概述。

说你的在先β是 $\mathrm{Beta}(\pi_{LH}| \alpha, \beta)$ ，其中是左撇子的比例。要指定先验参数和，了解beta分布的均值和方差非常有用（例如，如果您希望您的先验参数具有一定的均值和方差）。平均值是。因此，每当，平均值为。Beta分布的方差为 $\pi_{LH}$ $\alpha$ $\beta$ $\bar{\pi}_{LH}=\alpha/(\alpha + \beta)$ $\alpha =\beta$ $0.5$ $\frac{\alpha\beta}{(\alpha + \beta)^{2}(\alpha + \beta + 1)}$ 。现在，方便的事情是您可以将 $\alpha$ 和 $\beta$ 视为先前观察到的（伪）数据，即大小为的（伪）样本中的 $\alpha$ 左撇子和 $\beta$ 右撇子。所述的分布是均匀的（的所有值 $n_{eq}=\alpha + \beta$ $\mathrm{Beta}(\pi_{LH} |\alpha=1, \beta=1)$ $\pi_{LH}$ 是同样的可能性），相当于观察到两个人，其中一个是左撇子，另一个是右撇子。

后验贝塔分布简单为 $\mathrm{Beta}(z + \alpha, N - z +\beta)$ ，其中 $N$ 是样本的大小， $z$ 是样本中左撇子的数目。的后验均值 $\pi_{LH}$ 因此是 $(z + \alpha)/(N + \alpha + \beta)$ 。因此，要找到后验β分布的参数，我们只需将 $z$ 左撇子添加到 $\alpha$ 和 $N-z$ 右旋为 $\beta$ 。后验方差为 $\frac{(z+\alpha)(N-z+\beta)}{(N+\alpha+\beta)^{2}(N + \alpha + \beta + 1)}$ 。请注意，信息量高的先验信息也会导致后验分布的变化较小（下图很好地说明了这一点）。

在您的情况下， $z=2$ 且 $N=18$ 并且您的先验是无意义的制服，因此 $\alpha = \beta = 1$ 。因此您的后验分布为 $Beta(3, 17)$ 。的后验均值是 $\bar{\pi}_{LH}=3/(3+17)=0.15$ 。这是一张图表，显示了先验，数据的可能性和后验

先验，数据的似然性和后验分布具有一致的先验

您会看到，因为您的先验分布没有信息，所以后验分布完全由数据驱动。还绘制了后验分布的最高密度区间（HDI）。想象一下，将后验分布放在2D盆地中，并开始填充水，直到95％的分布在水线以上。水线与后部分布相交的点构成了95％-HDI。HDI内部的每个点比外部的任何点都具有更高的概率。同样，HDI始终包括后验分布的峰值（即众数）。HDI与等尾95％可信区间不同，后者排除了后尾各尾2.5％的距离（请参见此处）。

对于第二项任务，要求您考虑到5-20％的人口惯用左撇子的信息。有几种方法可以做到这一点。最简单的方法是说先前的beta分布应具有 $0.125$ 的平均值，即 $0.05$ 和 $0.2$ 的平均值。但是，如何选择先验β分布的 $\alpha$ 和 $\beta$ ？首先，您希望先验分布的均值是等效样本大小的伪样本中的 $0.125$ 。更一般而言，如果您希望您的先验具有伪样本大小为的均值 $n_{eq}$ $m$ $n_{eq}$ ，相应的 $\alpha$ 和 $\beta$ 值为： $\alpha = mn_{eq}$ 和 $\beta = (1-m)n_{eq}$ 。现在剩下要做的就是选择伪样本大小 $n_{eq}$ ，它确定您对先验信息的信心。假设您非常确定自己的先验信息，并设置 $n_{eq}=1000$ 。您的先验分布的参数为thereore $\alpha = 0.125\cdot 1000 = 125$ 和 $\beta = (1 - 0.125)\cdot 1000 = 875$ 。后验分布是 $\mathrm{Beta}(127, 891)$ 具有大约平均 $0.125$ ，其几乎是相同的先验均值 $0.125$ 。先验信息占主导地位（请参见下图）：

先验，数据的可能性和后验分布，具有较强的先验信息

$n_{eq}$ $10$ $\alpha=1.25$ $\beta=8.75$ $\mathrm{Beta}(3.25, 24.75)$ $0.116$ $0.111$

先验，数据的可能性和后验分布的beta优先级对应于3的伪样本大小

$0.025$ $0.05$ $0.975$ $0.2$ beta.selectLearnBayes $\alpha$ $\beta$

library(LearnBayes)

quantile1=list(p=.025, x=0.05)     # the 2.5% quantile should be 0.05
quantile2=list(p=.975, x=0.2)      # the 97.5% quantile should be 0.2
beta.select(quantile1, quantile2)

[1]  7.61 59.13

$\alpha = 7.61$ $\beta=59.13$ $7.61/(7.61 + 59.13)\approx 0.114$ $0.111$ $n_{eq}\approx 7.61+59.13 \approx 66.74$ $\mathrm{Beta}(9.61, 75.13)$ $0.113$ $\mathrm{Beta}(125, 875)$

先验，数据的可能性以及先验的后验分布具有0.05和0.275的分位数（0.05和0.2）

另请参阅此参考资料，以简短了解贝叶斯推理和简单分析。有关共轭分析（尤其是二项式数据）的详细介绍，请参见此处。在这里可以找到有关贝叶斯思想的一般介绍。有关贝叶斯统计方面的更多幻灯片，请点击此处。

— 酷酷
source

为什么我们在这里选择Beta分布？

— Metariat '16

(0, 1)

$(0,1)$

您是否碰巧还拥有“贝叶斯思想简介”文档？Dropbox链接已失效。

— bs7280 '18

@ bs7280我已经更新了链接。他们现在应该再次工作。

— COOLSerdash

@meduz严格来说，没有真正的“非信息性”先验。我想请您参考蒂姆在此讨论中的出色回答。

— COOLSerdash

$\alpha$ $\beta$

$P(r|Y_{1,...,n})$ $\frac{P(Y_{1,...,n}|r)*P(r)}{\int P(Y_{1,...,n}|\theta)*P(r)}$

您指出的比例与：

$P(r|Y_{1,...,n})$ $\propto$ $(Y_{1,...,n}|r)*P(r)$

$P(Y_{1,...,n}|r)$ $P(r|Y_{1,...n})$ $\frac{\alpha}{\alpha+\beta}$ $\alpha$ $\beta$ $\frac{1}{2}$ $\alpha$ $\beta$

— 埃里克·彼得森
source

在问题的第一部分，它要求您为“ r”定义一个合适的先验。掌握了二项式数据，选择贝塔分布是明智的。因为那样的话，后验将是beta。统一分配是beta的一种特殊情况，您可以为“ r”选择统一分配的先验条件，以使“ r”的每个可能值均相等。

在第二部分中，您提供了有关先前分配“ r”的信息。

有了这个@COOLSerdash的答案将为您提供正确的指导。

感谢您发布此问题，并感谢COOLSerdash提供正确的答案。

— 尼鲁帕·鲁帕辛格（Nilupa Rupasinghe）
source