后验与先验和可能性大不相同

如果先验和可能性彼此之间非常不同，则有时会发生后验与两者都不相似的情况。例如，请参阅此图片，它使用正态分布。

尽管从数学上讲这是正确的，但是这似乎与我的直觉不符-如果数据与我坚信不移的信念或数据不符，我希望这两个范围都不会表现良好，并且期望后验整个范围或围绕先验和可能性的双峰分布（我不确定哪个更合乎逻辑）。我当然不会期望在既不符合我先前的信念也不符合数据的范围内出现后紧态。我知道随着收集到更多数据，后验将朝着可能性发展，但是在这种情况下，这似乎是违反直觉的。

我的问题是：我对这种情况的理解是有缺陷的（还是有缺陷的）。在这种情况下，后验函数是否正确？如果没有，还可以如何建模？

为了完整性起见，先验被指定为，似然度被指定为。N（μ = 6.1 ，σ = 0.4 $\mathcal{N}(\mu=1.5, \sigma=0.4)$$\mathcal{N}(\mu=6.1, \sigma=0.4)$

编辑：看一些给出的答案，我觉得我没有很好地解释这种情况。我的观点是，鉴于模型中的假设，贝叶斯分析似乎会产生非直觉的结果。我的希望是，后验将以某种方式“解释”错误的建模决策，但考虑到这一点绝对不是这种情况。我将在回答中对此进行扩展。

是的，可能会出现这种情况，这是建模假设的一个特征，特别是先验模型和抽样模型中的正态性（可能性）。相反，如果您为先验选择了柯西分布，则后验看上去会大不相同。

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

我有点不同意到目前为止给出的答案-这种情况没有什么奇怪的。无论如何，这种可能性是渐近正常的，并且正常的先验一点也不罕见。如果您将两者放在一起，并且先验概率和可能性均未给出相同的答案，那么这里就是我们正在讨论的情况。我在下面用jaradniemi的代码描述了这一点。

我们在1中提到，这种观察的正常结论是：a）模型在结构上是错误的； b）数据是错误的； c）先验是错误的。但是肯定有问题，如果您要进行一些后验检查，那么您也会看到这一点，无论如何都应该这样做。

1 Hartig，F .; 戴克，J。希克勒，T。希金斯，SI；RB，O'Hara；Scheiter，S.＆Huth，A.（2012）将动态植被模型连接到数据-反向视角。J.Biogeogr.39，2240-2252。http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

我觉得贝叶斯生物统计学杂志的 Lesaffre和Lawson最好地总结了我一直在寻找这个问题的答案

的后部精度是现有和样本精度，即的总和：

$$\frac{1}{\sigma^2} = w_{0} + w_{1}$$ $\mu$$\sigma$

这对我来说是总结，并在其他答案中对此进行了概述，即以正常可能性对正常先验建模的情况可能导致后验比任何一个更为精确的情况。这是违反直觉的，但是以这种方式对这些元素建模的特殊结果。

$X_1$$X_0$$\mu \sim N(1.6, 0.4^2)$$X_1 \sim N(\mu, 0.4^2)$$X_1$$X_1$$\sqrt{0.4^2 + 0.4^2}=0.56$$2\phi(-(6.1-1.6)/0.56)=9.3\cdot 10^{-16}$$\mu$

$X_0 \sim N(\mu,0.4^2)$$X_0$$X_0$$X_1$$|X_1-X_0|>6.1-1.6$

$X_0$$X_1$

考虑了一段时间后，我的结论是，在建模假设不正确的情况下，后验可能是既不符合先验信念也不符合可能性的结果。由此看来，自然的结果是后验通常不是分析的终点。如果是后验应大致适合数据的情况，或者后验应在先验和似然之间分散（在这种情况下），则必须在事后进行检查，可能需要进行后验预测检查或类似的检查类似。要将其合并到模型中，似乎需要能够将概率置于概率陈述中，我认为这是不可能的。

我认为这实际上是一个非常有趣的问题。睡了之后，我想我的答案很刺耳。关键问题如下：

• 您已将可能性视为高斯pdf。但这不是概率分布，而是可能性！此外，您还没有清楚地标记轴。这些东西加在一起使接下来的一切变得混乱。

$\mu$$\sigma$$P(\mu|\mu', \sigma')$$\mu'$$\sigma'$$P(X|\mu, \sigma)$$X$$P(\mu|X, \sigma, \mu', \sigma')$$\mu$

$\mu$$P(X|\mu)$

$$P(\mu|\mu', \sigma') = exp(-\frac{(\mu-\mu')^2}{2 \sigma'^2})\frac{1}{\sqrt{2 \pi \sigma'^2}}$$

$$P(X|\mu,\sigma) = \prod_{i=1}^N exp(-\frac{(x_i-\mu)^2}{2 \sigma^2})\frac{1}{\sqrt{2 \pi \sigma^2}}$$

$\sigma'^2 = \sigma^2/N$$\sigma^2$$N$$X$

因此，先验和可能性是同等有益的。为什么后双峰不是？这是由于您的建模假设。您已经隐式地假设正态分布的建立方式（正态先验，正态似然），并且限制了后验以给出单峰答案。那只是正态分布的一个属性，您已经通过使用它们解决了这个问题。不同的模型不一定会这样做。我有一种感觉（尽管目前尚无证据），柯西分布可能具有多峰似然性，因此具有多峰后验。

因此，我们必须是单峰的，并且先验信息与可能性信息一样。在这些约束下，最明智的估计开始听起来像是直接在可能性与先验之间的一个点，因为我们没有合理的方法来确定该相信哪个。但是为什么后部变得更紧？

$\sigma$$\mu$$\sigma$$\sigma$$\sigma$$\mu$

（可视化的一种方法可能是想象仅使用两个采样点来估计具有已知方差的高斯平均值。如果两个采样点之间的距离远大于高斯宽度（即，它们不在在尾巴中），那么有力的证据表明均值实际上位于它们之间。将均值从该位置稍微移开将导致一个或另一个样本的概率呈指数下降。）

总而言之，您所描述的情况有些奇怪，通过使用模型，您已经将一些假设（例如，单峰性）纳入了您没有意识到的问题中。但除此之外，结论是正确的。