后验和后验预测分布有什么区别?


31

我知道什么是后验,但我不确定后者意味着什么?

两者有何不同?

凯文·P·墨菲(Kevin P Murphy)在他的教科书《机器学习:概率论》中指出,这是“一种内部信念状态”。那个的真实意义是什么?我的印象是,先验代表您的内部信念或偏见,我在哪里做错了?

Answers:


36

两者之间的简单区别是后验分布取决于未知参数,即后验分布为: 其中是归一化常数。θ

p(θ|x)=c×p(x|θ)p(θ)
c

另一方面,后验预测分布不依赖于未知参数因为它已经被积分,即后验预测分布为: θ

p(x|x)=Θc×p(x,θ|x)dθ=Θc×p(x|θ)p(θ|x)dθ

其中是一个新的不可观察的随机变量,并且独立于。xx

我不会在后验分布解释上做详细说明,因为您说您理解它,但是后验分布 “是未知数量的分布,视随机变量而定,取决于获得的证据”(维基百科)。因此,基本上,其分布可以解释您未知,随机的参数。

另一方面,后验预测分布具有完全不同的含义,因为它是基于您已经看到的数据的未来预测数据的分布。因此,后验预测分布基本上用于预测新数据值。

如果有帮助,请给出后验分布和后验预测分布的示例图:

在此处输入图片说明

在此处输入图片说明


3
该后验预测分布图需要新的轴标签和标题或其他内容。我之所以知道这个主意,是因为我知道后验预测分布是什么,但是仅仅弄清楚后验分布的人可能会感到非常困惑。
Cyan 2013年

谢谢@BabakP,您能否也指出我用来绘制theta和P(x * | theta)的pmf的分布情况
AD

...因为我想找出完整的例子。
AD

我只是假装我的后验是Beta(3,2)。我实际上并没有解决任何问题。但是,当然,如果您想举个例子,假设似然度是二项式(n,p),而p上的先验值是Beta(a,b),那么您应该能够得出后验值再次是beta分布。

同样,后验预测也不容易得出。我只是从我为GP后验预测编写的一些高斯过程代码中抓取了一个图形。话虽如此,上面的后验和后验预测图实际上并不对应于所示的后验,它们都是任意的。

11

当您了解某种预测模型的参数的后验分布时,通常使用预测分布。例如,在贝叶斯线性回归中,在给定一些观测数据X的情况下,您学习了模型y = wX的w参数的后验分布。
然后,当出现新的看不见的数据点x *时,您希望找到可能的预测y上的分布。 *给出您刚学到的w的后验分布。给定w的后验,在可能的y *上的这种分布是预测分布。


5

他们指的是两种不同事物的分布。

后验分布是指参数的分布,而预测后验分布(PPD)是指未来数据观测的分布。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.