Normal-Wishart后验的推导


11

我正在研究Normal-Wishart后验的推导,但是我陷入了其中一个参数(比例矩阵的后验,见底部)的问题。

仅出于上下文和完整性考虑,以下是模型和其他派生工具:

xiN(μ,Λ)μN(μ0,(κ0Λ)1)ΛW(υ0,W0)

这三个因子中每个因子的展开形式为(最大比例常数)为:

  • 可能性:

    N(xi|μ,Λ)|Λ|N/2exp(12i=1N(xiTΛxi2μTΛxi+μTΛμ))
  • 普通优先级:

    N(μ|(μ0,κ0Λ)1)|Λ|1/2exp(12(μTκ0Λμ2μTκ0Λμ0+μ0Tκ0Λμ0))
  • Wishart之前:

    W(Λ|υ0,W0)|Λ|υ0D12exp(12tr(W01Λ))

我们希望可以将后验Normal-Wishart(分解为以及:Ñμ,Λ|μ,κ,υ,WN(μ|μ,κΛ)W(Λ|υ,W)

自由之路υ

通过合并似然性和Wishart的第一个因素,我们得到后验的Wishart因素的第一个因素: ,因此我们具有后验的第一个参数:

|Λ|υ0+ND12
υ=υ0+N

比例因子κ

我们确定和包围的元素,以发现谁先更新了的可能性是: ,因此我们得到了第二个参数: μ κ 0 Λ μ Ť κ 0 +μTμκ0Λ

μT((κ0+N)Λ)μ
κ=κ0+N

均值μ

第三个参数来自识别: ,因此我们得到了第三个参数: 2 μ2μT...μ ' = 1

2μT(ΛNx¯+κ0Λμ0)=2μTκΛμ(ΛNx¯+κ0Λμ0)=κΛμ(Nx¯+κ0μ0)=κμ
μ=1k(Nx¯+κ0μ0)

比例矩阵W

第四个参数来自对其余参数的处理:

tr(W1Λ)=tr(W01Λ)+i=1NxiTΛxi+μ0Tκ0Λμ0=tr(W01Λ)+i=1Ntr(xiTΛxi)+tr(μ0Tκ0Λμ0)=tr(W01Λ+i=1NxiTΛxi+μ0Tκ0Λμ0)

如何从这里继续(如果到目前为止我没有犯错误)并获得的标准解决方案?W

编辑1

现在我们重新排列这些术语,添加和减去一些因子,以便像标准解决方案中那样获得两个平方:

Ť[Rw ^-1个Λ=Ť[Rw ^-1个Λ+一世=1个ñX一世ŤΛX一世+X¯ŤΛX¯-2X一世ŤΛX¯+κ0μ0ŤΛμ0+X¯ŤΛX¯-2X¯ŤΛμ0-一世=1个ñX¯ŤΛX¯+2一世=1个ñX一世ŤΛX¯-κ0X¯ŤΛX¯+2κ0X¯ŤΛμ0=Ť[Rw ^-1个Λ+一世=1个ñX一世-X¯ΛX一世-X¯Ť+κ0X¯-μ0ΛX¯-μ0Ť-ñX¯ΛX¯Ť+2ñX¯ΛX¯Ť-κ0X¯ΛX¯Ť+2κ0X¯Λμ0Ť

我们简化了平方以外的因素:

Ť[Rw ^-1个Λ=Ť[Rw ^-1个Λ+一世=1个ñX一世-X¯ŤΛX一世-X¯+κ0X¯-μ0ŤΛX¯-μ0+ñ-κ0X¯ŤΛX¯+2κ0X¯ŤΛμ0

编辑2感谢@bdeonovic的回答

迹线是循环的,因此。然后: ,然后: t r WŤ[R一种C=Ť[RC一种=Ť[RC一种- [R

Ť[Rw ^-1个Λ=Ť[Rw ^-1个Λ+一世=1个ñX一世-X¯X一世-X¯ŤΛ+κ0X¯-μ0X¯-μ0ŤΛ+ñ-κ0X¯X¯ŤΛ+2κ0X¯μ0ŤΛ
Ť[Rw ^-1个=Ť[Rw ^-1个+一世=1个ñX一世-X¯X一世-X¯Ť+κ0X¯-μ0X¯-μ0Ť+ñ-κ0X¯X¯Ť+2κ0X¯μ0Ť

几乎!但是仍然不存在。目标是:

w ^-1个+一世=1个ñX一世-X¯X一世-X¯Ť+κ0ñκ0+ñX¯-μ0X¯-μ0Ť

Answers:


4

迹线是循环的,因此。而且,迹线分布在加法上,因此。有了这些事实,您应该能够将项在跟踪项中循环到后面,并将跟踪项组合在一起。结果应类似于Ť[R一种C=Ť[RC一种=Ť[RC一种Ť[R一种+=Ť[R一种+Ť[RΛ

w ^-1个=w ^-1个+一世=1个ñX一世X一世+μ0μ0

谢谢!但是,我还看不到如何获得包含和的标准结果(en.wikipedia.org/wiki/Conjugate_prior)。我什至没有负面迹象:OX一世-X¯X¯-μ0
alberto 2015年

3

先前的可能性是 ×

|Λ|ñ/2经验值{-1个2一世=1个ñX一世ŤΛX一世-ñX¯ŤΛμ-μŤΛñX¯+ñμŤΛμ}×|Λ|ν0-d-1个/2经验值{-1个2Ť[Rw ^0-1个Λ}×|Λ|1个/2经验值{-κ02μŤΛμ-μŤΛμ0-μ0ŤΛμ+μ0ŤΛμ0}
可以将其重写为 我们可以重写
|Λ|1个/2|Λ|ν0+ñ-d-1个/2×经验值{-1个2κ0+ñμŤΛμ-μŤΛκ0μ0+ñX¯-κ0μ0+ñX¯ŤΛμ+κ0μ0ŤΛμ0+一世=1个ñX一世ŤΛX一世+Ť[Rw ^0-1个Λ}
κ0+ñμŤΛμ-μŤΛκ0μ0+ñX¯-κ0μ0+ñX¯ŤΛμ+κ0μ0ŤΛμ0+一世=1个ñX一世ŤΛX一世+Ť[Rw ^0-1个Λ
如下所示:
κ0+ñμŤΛμ-μŤΛκ0μ0+ñX¯-κ0μ0+ñX¯ŤΛμ+1个κ0+ñκ0μ0+ñX¯ŤΛκ0μ0+ñX¯-1个κ0+ñκ0μ0+ñX¯ŤΛκ0μ0+ñX¯+κ0μ0ŤΛμ0+一世=1个ñX一世ŤΛX一世+Ť[Rw ^0-1个Λ
现在最上面的两行分解为
κ0+ñμ-κ0μ+ñX¯κ0+ñŤΛμ-κ0μ+ñX¯κ0+ñ

加减,以下内容: 可以重写为 ñX¯ŤΛX¯

-1个κ0+ñκ0μ0+ñX¯ŤΛκ0μ0+ñX¯+κ0μ0ŤΛμ0+一世=1个ñX一世ŤΛX一世+Ť[Rw ^0-1个Λ
一世=1个ñX一世ŤΛX一世-X一世ŤΛX¯-X¯ŤΛX一世+X¯ŤΛX¯+ñX¯ŤΛX¯+κ0μ0ŤΛμ0-1个κ0+ñκ0μ0+ñX¯ŤΛκ0μ0+ñX¯+Ť[Rw ^0-1个Λ
和项
一世=1个ñX一世ŤΛX一世-X一世ŤΛX¯-X¯ŤΛX一世+X¯ŤΛX¯
等于 现在 可以扩展为
一世=1个ñX一世-X¯ŤΛX一世-X¯
ñX¯ŤΛX¯+κ0μ0ŤΛμ0-1个κ0+ñκ0μ0+ñX¯ŤΛκ0μ0+ñX¯
ñX¯ŤΛX¯+κ0μ0ŤΛμ0-1个κ0+ñκ02μ0ŤΛμ0+ñκ0μ0ŤΛX¯0+ñκ0X¯ŤΛμ0+ñ2X¯ŤΛX¯
等于
ñκ0κ0+ñX¯ŤΛX¯-X¯ŤΛμ0-μ0ŤΛX¯+μ0ŤΛμ0=ñκ0κ0+ñX¯-μ0ŤΛX¯-μ0

以下两项是标量: 而且任何标量都等于其轨迹,因此

一世=1个ñX一世-X¯ŤΛX一世-X¯ñκ0κ0+ñX¯-μ0ŤΛX¯-μ0
Ť[Rw ^0-1个Λ+一世=1个ñX一世-X¯ŤΛX一世-X¯+ñκ0κ0+ñX¯-μ0ŤΛX¯-μ0
可以重写为 由于,上述总和等于
Ť[Rw ^0-1个Λ+Ť[R一世=1个ñX一世-X¯ŤΛX一世-X¯+Ť[Rñκ0κ0+ñX¯-μ0ŤΛX¯-μ0
Ť[R一种C=Ť[RC一种
Ť[Rw ^0-1个Λ+Ť[R一世=1个ñX一世-X¯X一世-X¯ŤΛ+Ť[Rñκ0κ0+ñX¯-μ0X¯-μ0ŤΛ
利用的事实,我们可以将总和重写为 Ť[R一种+=Ť[R一种+Ť[R
Ť[Rw ^0-1个Λ+一世=1个ñX一世-X¯X一世-X¯ŤΛ+ñκ0κ0+ñX¯-μ0X¯-μ0ŤΛ=Ť[Rw ^0-1个+一世=1个ñX一世-X¯X一世-X¯Ť+ñκ0κ0+ñX¯-μ0X¯-μ0ŤΛ

如果将我们认为 Prior等于 小号=一世=1个ñX一世-X¯X一世-X¯Ť×

|Λ|1个/2经验值{-κ0+ñ2μ-κ0μ+ñX¯κ0+ñŤΛμ-κ0μ+ñX¯κ0+ñ}×|Λ|ν0+ñ-d-1个/2经验值{-1个2Ť[Rw ^0-1个+小号+ñκ0κ0+ñX¯-μ0X¯-μ0ŤΛ}
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.