假设两个多元正态分布,我在推导KL散度公式时遇到麻烦。我已经很轻松地完成了单变量案例。但是,自从我获得数学统计数据以来已经有一段时间了,因此在将其扩展到多元案例时遇到了一些麻烦。我确定我只是缺少一些简单的东西。
这就是我所拥有的...
假设二者和q是正态分布的与装置的PDF文件μ 1和μ 2和方差Σ 1和Σ 2分别。从q到p的Kullback-Leibler距离为:
,对于两个多元法线为:
遵循与此证明相同的逻辑,在陷入困境之前,请先到达此处:
我认为我必须实现跟踪技巧,但是我不确定在那之后该怎么办。任何有用的提示,让我回到正确的轨道,将不胜感激!
1
stanford.edu/~jduchi/projects/general_notes.pdf。最后一部分也给出了推导。
—
user3540823