后验与先验和可能性大不相同


21

如果先验和可能性彼此之间非常不同,则有时会发生后验与两者都不相似的情况。例如,请参阅此图片,它使用正态分布。

后行为

尽管从数学上讲这是正确的,但是这似乎与我的直觉不符-如果数据与我坚信不移的信念或数据不符,我希望这两个范围都不会表现良好,并且期望后验整个范围或围绕先验和可能性的双峰分布(我不确定哪个更合乎逻辑)。我当然不会期望在既不符合我先前的信念也不符合数据的范围内出现后紧态。我知道随着收集到更多数据,后验将朝着可能性发展,但是在这种情况下,这似乎是违反直觉的。

我的问题是:我对这种情况的理解是有缺陷的(还是有缺陷的)。在这种情况下,后验函数是否正确?如果没有,还可以如何建模?

为了完整性起见,先验被指定为,似然度被指定为。Nμ = 6.1 σ = 0.4 N(μ=1.5,σ=0.4)N(μ=6.1,σ=0.4)

编辑:看一些给出的答案,我觉得我没有很好地解释这种情况。我的观点是,鉴于模型中的假设,贝叶斯分析似乎会产生非直觉的结果。我的希望是,后验将以某种方式“解释”错误的建模决策,但考虑到这一点绝对不是这种情况。我将在回答中对此进行扩展。


2
这将仅意味着您无法假定后验的正常性。如果您认为后验是正常的,那么这确实是正确的。
PascalVKooten 2014年

我没有对后验做任何假设,只有先验和可能性。在任何情况下,这里的分布形式似乎都是无关紧要的-我可以手动绘制它们,然后进行相同的后验。
罗南·戴利2014年

我只是说,如果您不认为后验是正常的,那么您将放弃对此后验的信念。考虑到正常的先验数据和正常数据,正常的后验确实会是这样。也许想象一下小数据,那么实际上可能会发生类似的事情。
PascalVKooten 2014年

1
这个数字正确吗?似乎先前的可能性应该非常接近0,因为它们永远不会重叠。我很难看到您的后方如何窥视那里,因为先验的权重在那里非常接近0。我想念什么吗?×
卡2014年

1
@Luca您忘记了重新规范化。是的,先验和似然的乘积接近零,是的-但是,当您对其进行归一化以便再次积分为1时,这将变得无关紧要。
帕特

Answers:


5

是的,可能会出现这种情况,这是建模假设的一个特征,特别是先验模型和抽样模型中的正态性(可能性)。相反,如果您为先验选择了柯西分布,则后验看上去会大不相同。

prior = function(x) dcauchy(x, 1.5, 0.4)
like = function(x) dnorm(x,6.1,.4)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, 0, 8, col="red", axes=F, frame=T)
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

柯西先验,正常采样模型


感谢您的答复@jaradniemi,您是否认为柯西先验将始终避免问题中给出的特殊情况?
罗南·戴利2014年

1
是。通常,粗尾的先验使数据更容易淹没先验。
jaradniemi 2014年

2
jaradniemi,可能是这样,但是如果您说您不希望先验影响后验,那么为什么首先要选择内容丰富的先验呢?似乎您建议选择柯西,因为它看起来很有用,但实际上并非如此。
Florian Hartig 2015年

1
如果先验和似然一致,那么从后验先验得到期望的准确性提高,因此,先验是有益的。但是,当两者不同意时,选择一个重尾的先验将有可能轻易压倒先验。
jaradniemi

2

我有点不同意到目前为止给出的答案-这种情况没有什么奇怪的。无论如何,这种可能性是渐近正常的,并且正常的先验一点也不罕见。如果您将两者放在一起,并且先验概率和可能性均未给出相同的答案,那么这里就是我们正在讨论的情况。我在下面用jaradniemi的代码描述了这一点。

我们在1中提到,这种观察的正常结论是:a)模型在结构上是错误的; b)数据是错误的; c)先验是错误的。但是肯定有问题,如果您要进行一些后验检查,那么您也会看到这一点,无论如何都应该这样做。

1 Hartig,F .; 戴克,J。希克勒,T。希金斯,SI;RB,O'Hara;Scheiter,S.&Huth,A.(2012)将动态植被模型连接到数据-反向视角。J.Biogeogr.39,2240-2252。http://onlinelibrary.wiley.com/doi/10.1111/j.1365-2699.2012.02745.x/abstract

prior = function(x) dnorm(x,1,.3)
like = function(x) dnorm(x,-1,.3)

# Posterior
propto = function(x) prior(x)*like(x)
d = integrate(propto, -Inf, Inf)
post = function(x) propto(x)/d$value

# Plot
par(mar=c(0,0,0,0)+.1, lwd=2)
curve(like, -2, 2, col="red", axes=F, frame=T, ylim = c(0,2))
curve(prior, add=TRUE, col="blue")
curve(post, add=TRUE, col="seagreen")
legend("bottomleft", c("Prior","Likelihood","Posterior"), col=c("blue","red","seagreen"), lty=1, bg="white")

在此处输入图片说明


2

我觉得贝叶斯生物统计学杂志的 Lesaffre和Lawson最好地总结了我一直在寻找这个问题的答案

后部精度是现有和样本精度,即的总和:

1σ2=w0+w1
μσ

这对我来说是总结,并在其他答案中对此进行了概述,即以正常可能性对正常先验建模的情况可能导致后验比任何一个更为精确的情况。这是违反直觉的,但是以这种方式对这些元素建模的特殊结果。


这将在更高维度上推广Fisher矩阵。接近峰值后验分布的对数似然的Hessian是先验和似然逆方差的总和。该和的倒数是后验的协方差。由于添加了两个正(半)定矩阵(逆协方差),因此从数学上保证了后验的精度将超过先验概率分布或似然概率分布的精度。这是贝叶斯框架的普遍结果。
T3am5hark

2

X1X0μN(1.6,0.42)X1N(μ,0.42)X1X10.42+0.42=0.562ϕ((6.11.6)/0.56)=9.31016μ

X0N(μ,0.42)X0X0X1|X1X0|>6.11.6

X0X1


1

考虑了一段时间后,我的结论是,在建模假设不正确的情况下,后验可能是既不符合先验信念也不符合可能性的结果。由此看来,自然的结果是后验通常不是分析的终点。如果是后验应大致适合数据的情况,或者后验应在先验和似然之间分散(在这种情况下),则必须在事后进行检查,可能需要进行后验预测检查或类似的检查类似。要将其合并到模型中,似乎需要能够将概率置于概率陈述中,我认为这是不可能的。


是的,我同意,请参阅我的更详细答案
Florian Hartig 2015年

0

我认为这实际上是一个非常有趣的问题。睡了之后,我想我的答案很刺耳。关键问题如下:

  • 您已将可能性视为高斯pdf。但这不是概率分布,而是可能性!此外,您还没有清楚地标记轴。这些东西加在一起使接下来的一切变得混乱。

μσP(μ|μ,σ)μσPX|μσXPμ|Xσμσμ

μPX|μ

Pμ|μσ=ËXp-μ-μ22σ21个2πσ2

PX|μσ=一世=1个ñËXp-X一世-μ22σ21个2πσ2

σ2=σ2/ñσ2ñX

因此,先验和可能性是同等有益的。为什么后双峰不是?这是由于您的建模假设。您已经隐式地假设正态分布的建立方式(正态先验,正态似然),并且限制了后验以给出单峰答案。那只是正态分布的一个属性,您已经通过使用它们解决了这个问题。不同的模型不一定会这样做。我有一种感觉(尽管目前尚无证据),柯西分布可能具有多峰似然性,因此具有多峰后验。

因此,我们必须是单峰的,并且先验信息与可能性信息一样。在这些约束下,最明智的估计开始听起来像是直接在可能性与先验之间的一个点,因为我们没有合理的方法来确定该相信哪个。但是为什么后部变得更紧?

σμσσσμ

(可视化的一种方法可能是想象仅使用两个采样点来估计具有已知方差的高斯平均值。如果两个采样点之间的距离远大于高斯宽度(即,它们不在在尾巴中),那么有力的证据表明均值实际上位于它们之间。将均值从该位置稍微移开将导致一个或另一个样本的概率呈指数下降。)

总而言之,您所描述的情况有些奇怪,通过使用模型,您已经将一些假设(例如,单峰性)纳入了您没有意识到的问题中。但除此之外,结论是正确的。


μσσμ
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.