谁能用最简单的术语解释共轭先验吗？

23

我一直试图了解贝叶斯统计中的共轭先验的想法，但我只是不明白。谁能用最简单的术语来解释这个想法，也许以“高斯先验”为例？

bayesian conditional-probability conjugate-prior

23

参数的先验几乎总是具有某些特定的功能形式（通常以密度表示）。假设我们将自己限制在一个特定的分布族中，在这种情况下，选择先验会简化为选择该族的参数。

例如，考虑一个正态模型。为了简单起见，让我们也 $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ 已知。模型的这一部分-数据模型-确定似然函数。 $\sigma^2$

为了完善我们的贝叶斯模型，这里我们需要先验。 $\mu$

如上所述，通常我们可能会为先前的，然后我们只需要选择该分布的参数即可（例如，通常先验信息可能非常含糊-就像我们希望集中概率的大致位置-而不是非常具体的功能形式，并且我们可能有足够的自由通过选择参数来建模所需的模型（例如，匹配先前的均值和方差）。 $\mu$

如果事实证明后验为 $\mu$ 与前来自同一家族，则称 “共轭”。

（使之成为共轭的是它与可能性结合的方式）

因此，在这种情况下，让我们来高斯先验对于（说）。如果这样做，我们可以看到的后验 $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$ 也是高斯的。因此，对于上述模型，高斯先验是共轭先验。

真的就是所有这些-如果后验与前验来自同一个家庭，那么它就是共轭先验。

在简单情况下，您可以通过检查可能性来确定共轭。例如，考虑二项式可能性；除去常数，它看起来像的beta密度；而且由于路权力和相结合，将乘以一个测试之前，也给权力的产物和 ......所以我们可以从可能性立即看到在二项式似然中，β将是的共轭先验。 $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

在高斯情况下，最容易看到这种情况的发生是通过考虑对数密度和对数似然；对数似然将是的二次方，两个二次方之和是二次方，因此二次对数先验+二次对数似然就得出了二次后验（最高阶项的每个系数当然都是负的）。 $\mu$

— Glen_b-恢复莫妮卡
source

9

如果模型属于一个指数族，即，如果所述分布的密度的形式为

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$ 相对于一个给定的主导量度（勒贝格，计数，和TC。），其中

t \cdot s

$t\cdot s$ 表示在标量积

R^{d}

$\mathbb{R}^d$ 和

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$ 是可测量的功能，在共轭先验

θ

$\theta$ 是由形式的密度定义

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$ [相对于一个任意挑选的主导度量

d ν

$\text{d}\nu$ 上

Θ

$\Theta$ ]与

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$ 和

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$ ，

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

主导措施的选择对于先验家庭是决定性的。例如如果一个面临着一个正常均值的可能性 $\mu$ 为Glen_b的回答，选择勒贝格测度 $\text{d}\mu$ 为主导措施导致正常的先验是共轭。相反，如果一个人选择 $(1+\mu^2)^{-2}\text{d}\mu$ 为主导措施，共轭先验是家庭分布的其密度内

\exp {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in R

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ 相对于该主导量度，并且因此不再正常先验。该困难与选择可能性的特定参数化并为此参数选择勒贝格测度的困难基本相同。面对似然函数时，在参数空间上没有固有（或固有或参考）的主导度量。

在此指数族设置之外，没有任何具有固定支持的非平凡分布族允许共轭先验。这是Darmois-Pitman-Koopman引理的结果。

— 西安
source

11

“用最简单的术语？” 也许没有先验措施知识的解释对OP会更有用。

3

las，我担心共轭先验在没有度量背景的情况下是毫无意义的（即使这是宇宙中最好的秘密）。

— 西安

6

在我看来，“最简单的术语”是易于解释的，使用高级数学（例如量度理论）的解释在某种意义上可能仍然是“简单的”，甚至比避免这种机器的解释“更简单”。无论如何，这样的解释对于具有必要背景知识的人来说可能是非常有启发性的，并且在各种解释主题的方式列表中包括这样的答案是没有害处的。我们不仅为OP写信，而且为所有未来读者写答案。

— littleO

1

@LBogaardt如果您可以链接到一个或多个问题，而您认为此答案既是主题又是更合适的水平，则您的批评将更加重要。请记住，“简单”不是一个定义明确的术语，并且具有不同的主观解释。无论如何，将其与“数学上不成熟的”混为一谈是无效的，如您的评论所建议。

— ub

2

西安的回答对我来说不是没有用的。我学到了一些东西。

— littleO

2

我喜欢使用发行版的“内核”概念。在这里，您只剩下依赖于参数的零件。一些简单的例子。

正常内核

p (μ | a, b) = K^{- 1} \times \exp (a μ^{2} + b μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$ 其中

K

$K$ 是“归一化常数”

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ The connection with standard mean/variance parameters is

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$ and

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

p (θ | a, b) = K^{- 1} \times θ^{a} (1 - θ)^{b}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

When we look at the likelihood function, we can do the same thing, and express it in "kernel form". For example with iid data

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = Q \times f (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

For some constant $Q$ and some function $f(\mu)$ . If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = [\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}}] \times \prod_{i = 1}^{n} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2} - 2 x_{i} μ + μ^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2}}{2}) \times \exp (μ \sum_{i = 1}^{n} x_{i} - μ^{2} \frac{n}{2}) = Q \times \exp (a μ^{2} + b μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$ , so a conjugate prior for this likelihood is also the normal distribution.

p (μ | a_{0}, b_{0}) = K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$ The posterior is then

p (μ | D, a_{0}, b_{0}) \propto K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ) \times Q \times \exp (a μ^{2} + b μ) = K_{0}^{- 1} \times Q \times \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ) \propto \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

— probabilityislogic
source

1

(+1) I appreciate the pseudo-data intuition!

— Xi'an

1

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— Thomas G.
source

How does this explain what a conjugate prior is?

— LBogaardt

ok I'll edit that.

— Thomas G.