后验和后验预测分布有什么区别？

31

我知道什么是后验，但我不确定后者意味着什么？

两者有何不同？

凯文·P·墨菲（Kevin P Murphy）在他的教科书《机器学习：概率论》中指出，这是“一种内部信念状态”。那个的真实意义是什么？我的印象是，先验代表您的内部信念或偏见，我在哪里做错了？

posterior definition

— 广告
source

Answers:

36

两者之间的简单区别是后验分布取决于未知参数，即后验分布为：其中是归一化常数。 $\theta$

p (θ | x) = c \times p (x | θ) p (θ)

$p(\theta|x)=c\times p(x|\theta)p(\theta)$

c

$c$

另一方面，后验预测分布不依赖于未知参数因为它已经被积分，即后验预测分布为： $\theta$

p (x^{*} | x) = \int_{Θ} c \times p (x^{*}, θ | x) d θ = \int_{Θ} c \times p (x^{*} | θ) p (θ | x) d θ

$p(x^*|x)=\int_\Theta c\times p(x^*,\theta|x)d\theta=\int_\Theta c\times p(x^*|\theta)p(\theta|x)d\theta$

其中是一个新的不可观察的随机变量，并且独立于。 $x^*$ $x$

我不会在后验分布解释上做详细说明，因为您说您理解它，但是后验分布 “是未知数量的分布，视随机变量而定，取决于获得的证据”（维基百科）。因此，基本上，其分布可以解释您未知，随机的参数。

另一方面，后验预测分布具有完全不同的含义，因为它是基于您已经看到的数据的未来预测数据的分布。因此，后验预测分布基本上用于预测新数据值。

如果有帮助，请给出后验分布和后验预测分布的示例图：

在此处输入图片说明

在此处输入图片说明

— 王金华
source

3

该后验预测分布图需要新的轴标签和标题或其他内容。我之所以知道这个主意，是因为我知道后验预测分布是什么，但是仅仅弄清楚后验分布的人可能会感到非常困惑。

— Cyan 2013年

谢谢@BabakP，您能否也指出我用来绘制theta和P（x * | theta）的pmf的分布情况

— AD

...因为我想找出完整的例子。

— AD

我只是假装我的后验是Beta（3,2）。我实际上并没有解决任何问题。但是，当然，如果您想举个例子，假设似然度是二项式（n，p），而p上的先验值是Beta（a，b），那么您应该能够得出后验值再次是beta分布。

同样，后验预测也不容易得出。我只是从我为GP后验预测编写的一些高斯过程代码中抓取了一个图形。话虽如此，上面的后验和后验预测图实际上并不对应于所示的后验，它们都是任意的。

11

当您了解某种预测模型的参数的后验分布时，通常使用预测分布。例如，在贝叶斯线性回归中，在给定一些观测数据X的情况下，您学习了模型y = wX的w参数的后验分布。
然后，当出现新的看不见的数据点x *时，您希望找到可能的预测y上的分布。 *给出您刚学到的w的后验分布。给定w的后验，在可能的y *上的这种分布是预测分布。

— 用户1893354
source

5

他们指的是两种不同事物的分布。

后验分布是指参数的分布，而预测后验分布（PPD）是指未来数据观测的分布。

— SPMQET
source

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.