Normal-Wishart后验的推导


11

我正在研究Normal-Wishart后验的推导,但是我陷入了其中一个参数(比例矩阵的后验,见底部)的问题。

仅出于上下文和完整性考虑,以下是模型和其他派生工具:

xi∼N(μ,Λ)μ∼N(μ0,(κ0Λ)−1)Λ∼W(υ0,W0)

这三个因子中每个因子的展开形式为(最大比例常数)为:

  • 可能性:

    N(xi|μ,Λ)∝|Λ|N/2exp⁡(−12∑i=1N(xiTΛxi−2μTΛxi+μTΛμ))
  • 普通优先级:

    N(μ|(μ0,κ0Λ)−1)∝|Λ|1/2exp⁡(−12(μTκ0Λμ−2μTκ0Λμ0+μ0Tκ0Λμ0))
  • Wishart之前:

    W(Λ|υ0,W0)∝|Λ|υ0−D−12exp⁡(−12tr(W0−1Λ))

我们希望可以将后验Normal-Wishart(分解为以及:Ñ(μ,Λ|μ′,κ′,υ′,W′N(μ|μ,κ′Λ)W(Λ|υ′,W′)

自由之路υ′

通过合并似然性和Wishart的第一个因素,我们得到后验的Wishart因素的第一个因素: ,因此我们具有后验的第一个参数:

|Λ|υ0+N−D−12
υ′=υ0+N

比例因子κ′

我们确定和包围的元素,以发现谁先更新了的可能性是: ,因此我们得到了第二个参数: μ κ 0 Λ μ Ť ((κ 0 +μTμκ0Λ

μT((κ0+N)Λ)μ
κ′=κ0+N

均值μ′

第三个参数来自识别: ,因此我们得到了第三个参数: 2 μ2μT...μ ' = 1

2μT(ΛNx¯+κ0Λμ0)=2μTκ′Λμ′(ΛNx¯+κ0Λμ0)=κ′Λμ′(Nx¯+κ0μ0)=κ′μ′
μ′=1k′(Nx¯+κ0μ0)

比例矩阵W′

第四个参数来自对其余参数的处理:

tr(W′−1Λ)=tr(W0−1Λ)+∑i=1NxiTΛxi+μ0Tκ0Λμ0=tr(W0−1Λ)+∑i=1Ntr(xiTΛxi)+tr(μ0Tκ0Λμ0)=tr(W0−1Λ+∑i=1NxiTΛxi+μ0Tκ0Λμ0)

如何从这里继续(如果到目前为止我没有犯错误)并获得的标准解决方案?W′

编辑1:

现在我们重新排列这些术语,添加和减去一些因子,以便像标准解决方案中那样获得两个平方:

Ť[R(w ^′-1个Λ)=Ť[R(w ^-1个Λ+∑一世=1个ñ(X一世ŤΛX一世+X¯ŤΛX¯-2X一世ŤΛX¯)+κ0(μ0ŤΛμ0+X¯ŤΛX¯-2X¯ŤΛμ0)-∑一世=1个ñX¯ŤΛX¯+2∑一世=1个ñX一世ŤΛX¯-κ0X¯ŤΛX¯+2κ0X¯ŤΛμ0)=Ť[R(w ^-1个Λ+∑一世=1个ñ(X一世-X¯)Λ(X一世-X¯)Ť+κ0(X¯-μ0)Λ(X¯-μ0)Ť-ñX¯ΛX¯Ť+2ñX¯ΛX¯Ť-κ0X¯ΛX¯Ť+2κ0X¯Λμ0Ť)

我们简化了平方以外的因素:

Ť[R(w ^′-1个Λ)=Ť[R(w ^-1个Λ+∑一世=1个ñ(X一世-X¯)ŤΛ(X一世-X¯)+κ0(X¯-μ0)ŤΛ(X¯-μ0)+(ñ-κ0)X¯ŤΛX¯+2κ0X¯ŤΛμ0)

编辑2(感谢@bdeonovic的回答)

迹线是循环的,因此。然后: ,然后: t r (WŤ[R(一种乙C)=Ť[R(乙C一种)=Ť[R(C一种乙)吨- [R (

Ť[R(w ^′-1个Λ)=Ť[R(w ^-1个Λ+∑一世=1个ñ(X一世-X¯)(X一世-X¯)ŤΛ+κ0(X¯-μ0)(X¯-μ0)ŤΛ+(ñ-κ0)X¯X¯ŤΛ+2κ0X¯μ0ŤΛ)
Ť[R(w ^′-1个)=Ť[R(w ^-1个+∑一世=1个ñ(X一世-X¯)(X一世-X¯)Ť+κ0(X¯-μ0)(X¯-μ0)Ť+(ñ-κ0)X¯X¯Ť+2κ0X¯μ0Ť)

几乎!但是仍然不存在。目标是:

w ^-1个+∑一世=1个ñ(X一世-X¯)(X一世-X¯)Ť+κ0ñκ0+ñ(X¯-μ0)(X¯-μ0)Ť

Answers:


4

迹线是循环的,因此。而且,迹线分布在加法上,因此。有了这些事实,您应该能够将项在跟踪项中循环到后面,并将跟踪项组合在一起。结果应类似于Ť[R(一种乙C)=Ť[R(乙C一种)=Ť[R(C一种乙)Ť[R(一种+乙)=Ť[R(一种)+Ť[R(乙)Λ

w ^′-1个=w ^-1个+∑一世=1个ñX一世X一世⊺+μ0μ0⊺

谢谢!但是,我还看不到如何获得包含和的标准结果(en.wikipedia.org/wiki/Conjugate_prior)。我什至没有负面迹象:O∑(X一世-X¯)X¯-μ0
— alberto 2015年

3

先前的可能性是 ×

|Λ|ñ/2经验值⁡{-1个2(∑一世=1个ñX一世ŤΛX一世-ñX¯ŤΛμ-μŤΛñX¯+ñμŤΛμ)}×|Λ|(ν0-d-1个)/2经验值⁡{-1个2Ť[R(w ^0-1个Λ)}×|Λ|1个/2经验值⁡{-κ02(μŤΛμ-μŤΛμ0-μ0ŤΛμ+μ0ŤΛμ0)}。
可以将其重写为 我们可以重写
|Λ|1个/2|Λ|(ν0+ñ-d-1个)/2×经验值⁡{-1个2((κ0+ñ)μŤΛμ-μŤΛ(κ0μ0+ñX¯)-(κ0μ0+ñX¯)ŤΛμ+κ0μ0ŤΛμ0+∑一世=1个ñX一世ŤΛX一世+Ť[R(w ^0-1个Λ))}
(κ0+ñ)μŤΛμ-μŤΛ(κ0μ0+ñX¯)-(κ0μ0+ñX¯)ŤΛμ+κ0μ0ŤΛμ0+∑一世=1个ñX一世ŤΛX一世+Ť[R(w ^0-1个Λ)
如下所示:
(κ0+ñ)μŤΛμ-μŤΛ(κ0μ0+ñX¯)-(κ0μ0+ñX¯)ŤΛμ+1个κ0+ñ(κ0μ0+ñX¯)ŤΛ(κ0μ0+ñX¯)-1个κ0+ñ(κ0μ0+ñX¯)ŤΛ(κ0μ0+ñX¯)+κ0μ0ŤΛμ0+∑一世=1个ñX一世ŤΛX一世+Ť[R(w ^0-1个Λ)。
现在最上面的两行分解为
(κ0+ñ)(μ-κ0μ+ñX¯κ0+ñ)ŤΛ(μ-κ0μ+ñX¯κ0+ñ)。

加减,以下内容: 可以重写为 ñX¯ŤΛX¯

-1个κ0+ñ(κ0μ0+ñX¯)ŤΛ(κ0μ0+ñX¯)+κ0μ0ŤΛμ0+∑一世=1个ñX一世ŤΛX一世+Ť[R(w ^0-1个Λ)
∑一世=1个ñ(X一世ŤΛX一世-X一世ŤΛX¯-X¯ŤΛX一世+X¯ŤΛX¯)+ñX¯ŤΛX¯+κ0μ0ŤΛμ0-1个κ0+ñ(κ0μ0+ñX¯)ŤΛ(κ0μ0+ñX¯)+Ť[R(w ^0-1个Λ)。
和项
∑一世=1个ñ(X一世ŤΛX一世-X一世ŤΛX¯-X¯ŤΛX一世+X¯ŤΛX¯)
等于 现在 可以扩展为
∑一世=1个ñ(X一世-X¯)ŤΛ(X一世-X¯)。
ñX¯ŤΛX¯+κ0μ0ŤΛμ0-1个κ0+ñ(κ0μ0+ñX¯)ŤΛ(κ0μ0+ñX¯)
ñX¯ŤΛX¯+κ0μ0ŤΛμ0-1个κ0+ñ(κ02μ0ŤΛμ0+ñκ0μ0ŤΛX¯0+ñκ0X¯ŤΛμ0+ñ2X¯ŤΛX¯),
等于
ñκ0κ0+ñ(X¯ŤΛX¯-X¯ŤΛμ0-μ0ŤΛX¯+μ0ŤΛμ0)=ñκ0κ0+ñ(X¯-μ0)ŤΛ(X¯-μ0)。

以下两项是标量: 而且任何标量都等于其轨迹,因此

∑一世=1个ñ(X一世-X¯)ŤΛ(X一世-X¯),ñκ0κ0+ñ(X¯-μ0)ŤΛ(X¯-μ0)。
Ť[R(w ^0-1个Λ)+∑一世=1个ñ(X一世-X¯)ŤΛ(X一世-X¯)+ñκ0κ0+ñ(X¯-μ0)ŤΛ(X¯-μ0)
可以重写为 由于,上述总和等于
Ť[R(w ^0-1个Λ)+Ť[R(∑一世=1个ñ(X一世-X¯)ŤΛ(X一世-X¯))+Ť[R(ñκ0κ0+ñ(X¯-μ0)ŤΛ(X¯-μ0))。
Ť[R(一种乙C)=Ť[R(C一种乙)
Ť[R(w ^0-1个Λ)+Ť[R(∑一世=1个ñ(X一世-X¯)(X一世-X¯)ŤΛ)+Ť[R(ñκ0κ0+ñ(X¯-μ0)(X¯-μ0)ŤΛ)。
利用的事实,我们可以将总和重写为 Ť[R(一种+乙)=Ť[R(一种)+Ť[R(乙)
Ť[R(w ^0-1个Λ+∑一世=1个ñ(X一世-X¯)(X一世-X¯)ŤΛ+ñκ0κ0+ñ(X¯-μ0)(X¯-μ0)ŤΛ)=Ť[R((w ^0-1个+∑一世=1个ñ(X一世-X¯)(X一世-X¯)Ť+ñκ0κ0+ñ(X¯-μ0)(X¯-μ0)Ť)Λ)。

如果将我们认为 Prior等于 小号=∑一世=1个ñ(X一世-X¯)(X一世-X¯)Ť×

|Λ|1个/2经验值⁡{-κ0+ñ2(μ-κ0μ+ñX¯κ0+ñ)ŤΛ(μ-κ0μ+ñX¯κ0+ñ)}×|Λ|(ν0+ñ-d-1个)/2经验值⁡{-1个2Ť[R((w ^0-1个+小号+ñκ0κ0+ñ(X¯-μ0)(X¯-μ0)Ť)Λ)},
。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.