半共轭和有条件共轭先验的定义是什么？

半共轭先验和条件共轭先验的定义是什么？我在Gelman的Bayesian数据分析中找到了它们，但找不到它们的定义。

bayesian

— 提姆
source

Answers:

使用贝叶斯数据分析（第三版）中的定义，如果是一类采样分布，而是一类先验分布，则类是用于共轭如果 $\mathcal{F}$ $p(y|\theta)$ $\mathcal{P}$ $\theta$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y) \in P for all p (\cdot | θ) \in F and p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

如果是一类采样分布，而是的先验分布，其条件是，则该类是条件共轭如果 $\mathcal{F}$ $p(y|\theta,\phi)$ $\mathcal{P}$ $\theta$ $\phi$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

有条件的共轭先验可方便地构造Gibbs采样器，因为完整的有条件先验是已知的。

我搜索了电子版本的贝叶斯数据分析（第3版），但是找不到对半共轭先验的引用。我猜它是有条件共轭的同义词，但是如果您在书中提供对它的用法的引用，我应该能够提供一个定义。

— 贾拉德涅米
source

+1。贝叶斯数据分析第三版的URL是什么？

— Patrick Coulombe 2014年

谢谢！半共轭出现在这里（第二版）books.google.com/…。顺便问一下，您是如何获得第三版的电子书的？

— 2014年

我不确定为什么在这里为什么说半共轭，因为先验是完全共轭的。该声明在第3版中已删除。可以在这里购买该电子书：crcpress.com/product/isbn/9781439840955。

— jaradniemi 2014年

@jaradniemi：我在p84上给出的链接中指出，半共轭先验不是共轭先验。

— 蒂姆（Tim）

在每个指的是什么，并且每个都指同一件事？

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno

我想以多元正态为例。

回想一下可能性是由

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N D}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{i = 1}^{N} (x_{i} - μ)^{T} Σ^{- 1} (x_{i} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

为了找到这种可能性之前，我们可以选择

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

我保证您现在不必担心；它们只是先验分布的参数。 $\mu_0,\Lambda_0,\nu_0,S_0$

然而，重要的是，这与可能性没有共轭。为了了解原因，我想引用我在网上找到的参考。

请注意，和可能以非因式方式一起出现；因此它们也将在后部耦合在一起 $\mu$ $\Sigma$

参考文献是Kevin P. Murphy撰写的“机器学习：概率论”。这是链接。您可以在第135页顶部的第4.6节（推断MVN的参数）中找到引号。

要继续报价，

上面的先验有时称为半共轭或有条件共轭，因为两个条件和都是单独共轭的。要创建完整的共轭先验，我们需要使用先验，其中和相互依赖。我们将使用表格的联合分布 $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

这里的想法是第一个先验分布

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

假定和是可分离的（或在某种意义上是独立的）。但是，我们注意到在似然函数中，无法单独分解和，这意味着它们在后验（Recall，）。这表明在开始时“不可分离的”后部和“可分离的”前部不是共轭的。另一方面，通过重写 $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

这样和相互依赖（通过），您将获得一个共轭先验，称为半共轭先验。希望可以回答您的问题。 $\mu$ $\Sigma$ $p(\mu|\Sigma)$

ps：我使用的另一个非常有用的参考文献是Peter D. Hoff撰写的“贝叶斯统计方法的第一门课程”。这是本书的链接。您可以从第105页开始的第7节中找到相关内容，并且他从第67页起的第5节中对单变量正态分布有很好的解释（和直觉），当他处理时，第7节中将再次加强。 MVN。

— 永不
source

如果是一类抽样分布的，和是一个类先验分布的，那么类是semiconjugate为如果对于所有和，其中和不属于类。 $F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— 裸体
source