在贝叶斯推断中先验了解贝塔共轭频率

以下摘录自《博尔斯塔德的贝叶斯统计概论》。

对于所有在那里的专家来说，这可能是微不足道的，但是我不明白作者是如何得出结论的，我们不必进行任何积分就可以计算出某个值的后验概率。我理解第二个表达式，它是比例关系以及所有条件的来源（似然x Prior）。而且，我知道，我们不必担心分母，因为只有分子是直接成比例的。但是，继续讲第三个方程式，我们是否就忘记了贝叶斯规则的分母？去哪了？而且由Gamma函数计算的值不是常数吗？常数不会在贝叶斯定理中抵消吗？$\pi$

关键是我们知道后验与之成正比，因此我们不需要进行积分就可以得到（常数）分母，因为我们认识到概率密度函数与成正比的分布（例如后验）是beta分布。由于此类beta pdf的归一化常数为，因此无需集成即可获得后验pdf。是的，贝叶斯定理中的归一化常数是一个常数（给定观测数据和先验假设），就像后验密度的归一化常数一样。Γ （α + β $x^{\alpha-1} \times (1-x)^{\beta-1}$$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

设置

您具有以下模型： 的密度是 并特别注意 f（p）=

$$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$$ $$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$$ $$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$$ $$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$$

隐式版本

现在。后验分布与先验乘以似然成正比。我们可以忽略常量（即不是东西），得到： 克p ħ （$f$$g$$p$

$$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$$

它具有参数和的beta分布的“形状” ，我们知道具有这些参数的beta分布的对应归一化常数应该是：。或者，就伽马函数而言， 换句话说，我们可以做得比比例关系好一点，而无需任何额外的工作，而是直接求等式： β + ñ - X 1 /乙（α + X ，β + ñ - X ）$\alpha + x$$\beta + n - x$$1 / B(\alpha + x, \beta + n - x)$ħ（

$$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$$ $$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$$

因此，人们可以利用β分布的结构知识来轻松地恢复后验表达式，而不用经历一些混乱的整合等。

它通过隐式取消关节分布的归一化常数来绕过整个后验，这可能会造成混淆。

显式版本

您也可以按程序将事情磨平，这可能会更清楚。

实际上，时间不再那么长。请注意，我们可以将关节分布表示为 和的边际分布为 X∫ 1个0 ˚F（p）克（

$$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$ $x$ $$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$$

因此，我们可以使用贝叶斯定理通过 ，这与我们之前得到的相同。

$$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$

一般说明

为了使@Björn给出的答案更加明确，同时又更加笼统，我们应该记住，我们从贝叶斯定理得出

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ （Bayes Thereom）

其中代表观察到的数据，我们未知的参数，我们想对这个参数进行概率推断-在问题的情况下，该参数是未知频率。现在我们不必担心是为了简单起见而正在讨论向量或标量。$X$$\theta$$\pi$

连续情况下的边际化导致

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

如前所述这里的联合分布等于。这是一个常数，因为在“积分”参数之后，它仅取决于常数项。$p(X,\theta)$$likelihood \times prior$

因此我们可以将贝叶斯定理重新表示为

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$与$Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

因此到达通常比例形式的贝叶斯定理。

解决问题的手

现在，我们可以简单地插入我们所知道的，因为问题案例中的的形式为$likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

其中，，其中从二项式似然和beta中收集常数项先验。$a' = a+y$$b' = b+n-y$$A = \frac{1}{B(a,b)}\binom{n}{y}$

现在，我们可以使用@Björn给出的答案来发现它与常数项的集合乘以Beta函数 。$B(a',b')$$A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

注意，联合分布中的任何常数项都将被抵消，因为它会同时出现在分母和分母中（参见@jtobin给出的答案），因此我们真的不必费心。

因此，我们认识到我们的后验分布实际上是一个beta分布，在这里我们可以简单地更新先验参数 和来得出后验。这就是为什么beta分布先验称为共轭先验的原因。b ' = b + n - $a' = a+y$$b' = b+n-y$