我正在研究Normal-Wishart后验的推导,但是我陷入了其中一个参数(比例矩阵的后验,见底部)的问题。
仅出于上下文和完整性考虑,以下是模型和其他派生工具:
xiμΛ∼N(μ,Λ)∼N(μ0,(κ0Λ)−1)∼W(υ0,W0)
这三个因子中每个因子的展开形式为(最大比例常数)为:
可能性:
N(xi|μ,Λ)∝|Λ|N/2exp(−12∑i=1N(xTiΛxi−2μTΛxi+μTΛμ))
普通优先级:
N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp(−12(μTκ0Λμ−2μTκ0Λμ0+μT0κ0Λμ0))
Wishart之前:
W(Λ|υ0,W0)∝|Λ|υ0−D−12exp(−12tr(W−10Λ))
我们希望可以将后验Normal-Wishart(分解为以及:Ñ(μ,Λ|μ′,κ′,υ′,W′N(μ|μ,κ′Λ)W(Λ|υ′,W′)
自由之路υ′
通过合并似然性和Wishart的第一个因素,我们得到后验的Wishart因素的第一个因素:
,因此我们具有后验的第一个参数:
|Λ|υ0+N−D−12
υ′=υ0+N
比例因子κ′
我们确定和包围的元素,以发现谁先更新了的可能性是:
,因此我们得到了第二个参数:
μ κ 0 Λ μ Ť ((κ 0 +μTμκ0Λ
μT((κ0+N)Λ)μ
κ′=κ0+N
均值μ′
第三个参数来自识别:
,因此我们得到了第三个参数:
2 μ2μT...μ ' = 1
2μT(ΛNx¯¯¯+κ0Λμ0)(ΛNx¯¯¯+κ0Λμ0)(Nx¯¯¯+κ0μ0)=2μTκ′Λμ′=κ′Λμ′=κ′μ′
μ′=1k′(Nx¯¯¯+κ0μ0)
比例矩阵W′
第四个参数来自对其余参数的处理:
tr(W′−1Λ)=tr(W−10Λ)+∑i=1NxTiΛxi+μT0κ0Λμ0=tr(W−10Λ)+∑i=1Ntr(xTiΛxi)+tr(μT0κ0Λμ0)=tr(W−10Λ+∑i=1NxTiΛxi+μT0κ0Λμ0)
如何从这里继续(如果到目前为止我没有犯错误)并获得的标准解决方案?w ^′
编辑1:
现在我们重新排列这些术语,添加和减去一些因子,以便像标准解决方案中那样获得两个平方:
吨- [R (w ^' − 1Λ )==吨- [R (w ^− 1Λ+ ∑我= 1ñ(xŤ一世Λ X一世+ x¯¯¯ŤΛ X¯¯¯-2 xŤ一世ΛX¯¯¯)+ κ0( μŤ0Λ μ0+ x¯¯¯ŤΛ X¯¯¯− 2 x¯¯¯ŤΛ μ0)− ∑我= 1ñX¯¯¯ŤΛ X¯¯¯+ 2 ∑我= 1ñXŤ一世Λ X¯¯¯- κ0X¯¯¯ŤΛ X¯¯¯+ 2 κ0X¯¯¯ŤΛ μ0)吨- [R (w ^− 1Λ + ∑我= 1ñ(x一世− x¯¯¯)Λ (x一世− x¯¯¯)Ť+ κ0(x¯¯¯- μ0)Λ (x¯¯¯- μ0)Ť− NX¯¯¯Λ X¯¯¯Ť+ 2 牛X¯¯¯Λ X¯¯¯Ť- κ0X¯¯¯Λ X¯¯¯Ť+ 2 κ0X¯¯¯Λ μŤ0)
我们简化了平方以外的因素:
吨- [R (w ^' − 1Λ )=吨- [R (w ^− 1Λ + ∑我= 1ñ(x一世− x¯¯¯)ŤΛ (x一世− x¯¯¯)+ κ0(x¯¯¯- μ0)ŤΛ (x¯¯¯- μ0)+ (N- κ0)x¯¯¯ŤΛ X¯¯¯+ 2 κ0X¯¯¯ŤΛ μ0)
编辑2(感谢@bdeonovic的回答)
迹线是循环的,因此。然后:
,然后:
t r (W吨- [R (甲乙Ç)= 吨- [R (乙ÇA )= t r (CA B )吨- [R (
吨- [R (w ^' − 1Λ )=吨- [R (w ^− 1Λ + ∑我= 1ñ(x一世− x¯¯¯)(x一世− x¯¯¯)ŤΛ + κ0(x¯¯¯- μ0)(x¯¯¯- μ0)ŤΛ+ (N- κ0)x¯¯¯X¯¯¯ŤΛ + 2 κ0X¯¯¯μŤ0Λ )
吨- [R (w ^' − 1)=吨- [R (w ^− 1+ ∑我= 1ñ(x一世− x¯¯¯)(x一世− x¯¯¯)Ť+ κ0(x¯¯¯- μ0)(x¯¯¯- μ0)Ť+ (N- κ0)x¯¯¯X¯¯¯Ť+ 2 κ0X¯¯¯μŤ0)
几乎!但是仍然不存在。目标是:
w ^− 1+ ∑我= 1ñ(x一世− x¯¯¯)(x一世− x¯¯¯)Ť+ κ0ñκ0+ N(x¯¯¯- μ0)(x¯¯¯- μ0)Ť