在贝叶斯推断中,为什么某些项从后验预测中删除?


12

在Kevin Murphy 对高斯分布共轭贝叶斯分析中,他写道,后验预测分布是

p(xD)=p(xθ)p(θD)dθ

其中是适合模型的数据,而是看不见的数据。我不明白的是为什么对的依赖性在积分的第一项中消失了。使用基本的概率规则,我期望:DxD

p(a)=p(ac)p(c)dcp(ab)=p(ac,b)p(cb)dcp(xD)=p(xθ,D)p(θD)dθ

问:为什么在依赖足月消失?D


对于它的价值,我已经在其他地方看到了这种表述(在条件变量中删除变量)。例如,在Ryan Adam的贝叶斯在线变更点检测中,他将后验预测写为

p(xt+1rt)=p(xt+1θ)p(θrt,xt)dθ

再一次,由于,我本来期望D={xt,rt}

p(xt+1xt,rt)=p(xt+1θ,xt,rt)p(θrt,xt)dθ

Answers:


13

这是基于给定的条件独立于的假设。在许多情况下,这是一个合理的假设,因为它只表示训练和测试数据(分别为和)是从同一组未知参数中独立生成的。给定这种独立性假设,,因此退出了您期望的更一般形式。xDθDxθp(x|θ,D)=p(x|θ)D

在第二个示例中,似乎正在应用类似的独立性假设,但是现在(明确地)跨时间使用。这些假设可以在本文的其他地方明确声明,或者对于那些熟悉问题背景的人来说可能是隐含的(尽管这不一定意味着在您的特定示例中-我并不熟悉) -作者是正确的假设)。


9

这是因为在给定的情况下,假定与无关。换句话说,假定所有数据均来自具有参数的正态分布。一旦使用信息,从考虑到,没有更多的信息为我们提供了一个新的数据点。因此,。xDθθθDDxp(x|θ,D)=p(x|θ)

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.