不合适的先验如何导致正确的后验分布？

我们知道，在适当分配优先权的情况下，

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$。

该步骤的通常的理由是，边缘分布$X$，$P(X)$，是相对于恒定$\theta$和导出后验分布时可因此被忽略。

但是，如果先验不正确，您如何知道后验分布实际上存在？这个看似循环的论点似乎有些缺失。换句话说，如果我假设后验存在，那么我就会理解如何推导后验的机制，但是我似乎缺少关于为何甚至存在的理论依据。

PS我也认识到，在某些情况下，先验错误会导致后验错误。

通常我们接受不正确的先验后验如果 存在并且是一个有效的概率分布（即，它在支持上精确地积分到1）。从本质上讲，这可以归结为是有限的。如果是这种情况，那么我们称这个数量并将其接受为我们想要的后验分布。但是，重要的是要注意，这既不是后验分布，也不是条件概率分布（这两个术语在本文中是同义的）。$\pi(\theta)$

现在，我说过，鉴于上述，我们接受来自不适当先验的“后验”分布。之所以接受它们，是因为先前的仍会在参数空间上为我们提供相对的“分数”。也就是说，比率为我们的分析带来了意义。在某些情况下，我们从不当先验中获得的含义可能无法在适当的先验中获得。这是使用它们的潜在理由。请参阅Sergio的答案，以更彻底地检查出现不当先验的实际动机。π （θ 1$\pi(\theta)$$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

值得注意的是，这个量确实也具有理想的理论特性，Degroot和Schervish：$\pi(\theta \mid X)$

不正确的先验不是真实的概率分布，但是如果我们假装它们是真实的，则我们将计算后验分布，该后验分布近似于使用适当的共轭先验和先验超参数的极值获得的后验。

有一个“理论的”答案和一个“务实的”答案。

从理论的角度来看，当先验不正确时，后验就不存在了（好吧，请看马修对一个更合理的陈述的回答），但是可以用一个限制形式来近似。

如果数据包含来自伯努利分布且参数为的条件iid样本，并且具有参数和分布，则的后验分布为参数（观察，成功），其平均值为。如果我们在先验参数之前使用不正确的（和虚幻的）beta分布，并假装θ α β θ α + 小号，β + ñ - 小号ñ 小号（α + 小号）/（α + β + Ñ ）α = β = 0 π （θ ）α θ - 1（1 - θ ）- 1 θ s - 1（1 - θ ）n - $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$$(\alpha+s)/(\alpha+\beta+n)$$\alpha=\beta=0$$\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$，我们获得与成正比的适当后验，即除常数因子外，带有参数和的beta分布的pdf 。这是参数值和优先级的后验的限制形式（Degroot＆Schervish，示例7.3.13）。小号ñ-小号α→交通0β→交通$\theta^{s-1}(1-\theta)^{n-s-1}$$s$$n-s$$\alpha\to 0$$\beta\to 0$

与平均值的正常模式，已知方差，以及为先验分布，如果在现有的精度，，相对于数据精度较小，则后验分布近似为： 即后验分布大约是假设与的常数成比例而产生的σ 2 Ñ（μ 0，τ 2 0）θ 1 / τ 2 0 Ñ / σ 2 τ 2 0 = ∞ p （θ | X ）≈ Ñ（θ | ˉ X，σ 2 / Ñ ）p （θ ）θ ＆Element; （- ∞ ，∞ ）τ 2 $\theta$$\sigma^2$$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$

从一个“务实”点，时 的任何是，因此，如果 in ，然后。不适当的先验可用于表示似然性较高的区域先验分布的局部行为。通过假设具有足够的近似值，先验遵循以下形式，例如或仅限于p （X | θ ）= 0 p （θ ）p （X | θ ）≠ 0 （一，b ）＆Integral; ∞ - ∞ p （X | θ ）p （θ ）d θ = ∫ b 一个 p （X $p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$（一，b ）˚F （X ）= ķ ，X ∈ （- ∞ ，∞ ）˚F （X ）= ķ X - 1，X ∈ （0 ，∞ ）（一，b ）θ ù（- ∞ ，∞ ）（一$\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$$f(x)=k, x\in(-\infty,\infty)$$f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$，确保它在该范围外尾部适当地为零，我们确保实际使用的先验是正确的（Box和Tiao，第21页）。因此，如果的先验分布是但 是有界的，就好像，即。举一个具体的例子，这就是Stan中发生的情况：如果没有为参数指定先验，则在支持它时会隐式给予一个统一的先验，并将其作为可能性乘以常数的乘积。$\theta$$\mathcal{U}(-\infty,\infty)$θ 〜ù（一，b ）p （X | θ ）p （θ ）= p （X | θ ）ķ α p （X | θ $(a,b)$$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

但是，如果先验不正确，您如何知道后验分布实际上存在？

后部也可能不合适。如果先验是不适当的，并且可能性是平坦的（因为没有有意义的观察结果），则后验等于先验并且也是不适当的。

通常情况下，您有一些观察结果，通常可能性不平坦，因此后验是正确的。