Gentler贝叶斯统计方法

我最近开始阅读Bolstad撰写的“贝叶斯统计概论”第二版。我有一个介绍性的Stats类，主要涵盖统计测试，并且几乎遍历了回归分析中的一类。我还可以使用其他哪些书籍来补充我对这本书的理解？

我已经完成了前100-125页的罚款。之后，这本书开始谈论假设检验，这是我很激动地介绍的内容，但是有几件事情让我失望：

• 在计算中使用概率密度函数。换句话说，如何评估这样的方程式。
• 这整个句子是：“假设我们在pi之前使用beta（1,1）。然后给定y = 8，后验密度为beta（9,3）。零假设的后验概率是...”我相信 beta（1,1）指的是平均值为1而标准偏差为1的PDF？我不知道如何将其转换为beta（9,3）作为后验密度函数。

我确实了解先验与后继的概念，并了解如何使用表格手动应用它们。我得到（我认为！）pi代表假定的人口比例或概率。

我不知道如何将其与我每天会遇到的数据联系在一起并获得结果。

在计算中使用概率密度函数。换句话说，如何评估这样的方程式。

我认为您仍然从常客的角度考虑这一问题：如果您要寻找一个点估计，则后验不会给您。您放入PDF，然后取出PDF。您可以通过从后验分​​布中计算统计数据来得出点估计，但我将稍作介绍。

我确实了解先验与后继的概念，并了解如何使用表格手动应用它们。我得到（我认为！）pi代表假定的人口比例或概率。

是同样的事情， p （X ）：他们都是PDF文件。只是按常规方式使用 π来表示特定的PDF是先验密度。$\pi(x)$$p(x)$$\pi$

我怀疑您没有像您想象的那样获得先验和后验，因此让我们将其支持到贝叶斯统计的基本基础：主观概率。

主观概率的思想实验

假设我给您提供了一个硬币，然后问您您是否认为这枚硬币是公平的硬币。您已经听到很多人谈论概率等级中的不公平硬币，但是您实际上在现实生活中从未见过，因此您回答：“是的，当然，我认为这是一个公平的硬币。” 但是，事实上，我什至在问您这个问题，这会让您有些不安，因此，尽管您估计这是公平的，但如果不是这样，您就不会感到惊讶。与您在零钱中发现这枚硬币相比，您要感到惊讶的要少得多（因为您假设这是真实货币，并且由于我的行为可疑，因此您现在并不真正信任我）。

现在，我们进行一些实验。翻转100次后，硬币会退回53个目。您对它是一个公平的硬币更有信心，但是您仍然对它不是一个可能性持开放态度。所不同的是，如果事实证明该代币有某种偏见，您将感到非常惊讶。

在这里，我们如何表示您的先验信念和后继信念，特别是关于硬币出现正面的概率（我们将表示）？在常客的情况下，您先前的信念-您的零假设-是θ = 0.5。完成实验后，您将无法拒绝空值，因此继续假设是，硬币可能是公平的。但是，我们如何封装更改以使您确信硬币是公平的呢？在实验之后，您可以打赌硬币是公平的，但是在实验之前，您会感到恐惧。$\theta$$\theta = 0.5$

在贝叶斯设置中，您通过不将概率视为标量值，而是视为随机变量（即函数）来封装对命题的信心。与其说，我们说θ 〜ñ （0.5 ，σ 2），从而封装我们在PDF的方差信心。如果我们设置一个高方差，那是说：“我认为概率为0.5，但是如果我实际观察到的概率与该值相距甚远，我也不会感到惊讶。我认为θ = $\theta = 0.5$$\theta \sim N(0.5, \sigma^2)$$\theta= 0.5$，但坦率地说我不确定。”通过设置较低的方差，我们说：“我不仅相信概率为0.5，而且如果实验提供的值与。“因此，在本示例中，当您开始实验时，您具有较高的先验方差。在收到证实您的先验的数据后，先验的均值保持不变，但方差变得更窄。进行实验后，θ = 0.5比以前高得多。$\theta=0.5$$\theta=0.5$

那么我们如何执行计算呢？

我们以PDF开头，然后以PDF结尾。当您需要报告点估计时，您可以计算统计量，例如后验分布的均值，中位数或众数（取决于损失函数，我现在不介绍它。让我们坚持均值）。如果您有PDF的封闭式解决方案，则确定这些值可能很简单。如果后验复杂，则可以使用MCMC之类的程序从后验中取样并从绘制的样本中得出统计信息。

在具有Beta先验和二项式似然的示例中，后验的计算简化为非常干净的计算。鉴于：

• 前值：$\theta \sim Beta(\alpha, \beta)$
• $X|\theta \sim Binomial(\theta)$

然后后验简化为：

• $\theta|X \sim Beta(\alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i)$

只要您具有beta先验和二项式可能性，就会发生这种情况，其原因应该在DJE提供的计算中显而易见。当特定的先验似然模型始终给出与先验具有相同分布类型的后验时，用于先验的分布类型和似然性之间的关系称为共轭。有许多具有共轭关系的分布对，贝叶斯算法经常使用共轭来简化计算。给定特殊的可能性，您可以通过选择共轭先验条件（如果存在并且可以证明对先验条件的合理性）来简化生活。

我相信beta（1,1）指的是平均值为1且stdev为1的PDF？

在正态分布的通用参数化中，两个参数分别表示分布的平均值和标准偏差。但这就是我们对正态分布进行参数化的方式。其他概率分布的参数差异很大。

$Beta(\alpha, \beta)$$\alpha$$\beta$

$$\begin{equation} \begin{split} X &\sim Beta(\alpha, \beta) \\ \operatorname{E}[X] &= \frac{\alpha}{\alpha + \beta} \\ \operatorname{var}[X] &= \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \end{split} \end{equation}$$

您可以清楚地看到，均值和方差不是此分布的参数化的一部分，但是它们具有封闭式解决方案，它们是输入参数的简单函数。

$Beta(1,1)$$Uniform(0,1)$

$p(\theta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$$(\alpha, \beta)=(1,1)$

具有二项式可能性的beta先验（具有二进制结果的固定试验数量和成功/失败的固定概率的固定数目）具有共轭性质，它允许后验（先验和可能性的乘积）以封闭形式编写：

$$\begin{equation} \begin{split} p(\theta|y) &= \frac{p(y|\theta)p(\theta)}{p(y)} \\ ~\\ ~\\ &\propto\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}*\binom{n}{y}\theta^y(1-\theta)^{n-y} \\ ~\\ ~\\ &\propto\theta^{\alpha-1}(1-\theta)^{\beta-1}*\theta^y(1-\theta)^{n-y} \\ ~\\ &\propto\theta^{\alpha+y-1}(1-\theta)^{\beta+n-y-1} \\ ~\\ &=\frac{\Gamma(\alpha+y-1)\Gamma(\beta+n-y-1)}{\Gamma(\alpha+\beta+n-1)}\theta^{\alpha+y-1}(1-\theta)^{\beta+n-y-1} \end{split} \end{equation}$$

For the particular example in the text, the author is indicating that a beta(1,1) prior with data n=10 and y=8 produces a beta(1+8,1+2)=beta(9,3) posterior distribution on $\theta$.

This closed-form expression is convenient, but by no means necessary. Multiplying probability densities can be done the same way as multiplying other mathematical expressions; the difficulties arrive since many products of densities are not as easily rewritten as the beta prior/binomial likelihood. Fortunately, this is where computers pick up the slack.

If you are looking for a gentler approach I can highly recommend the book by Kruschke which uses R to explain the core concepts. It is a very practical and hands-on approach into learning Bayesian statistics and on his website you can find all of the codes used.

Someone also recommended the text by Cam.Davidson.Pilon to me, haven't look at it yet but it can be found here.