如何计算共同信息?


10

我有点困惑。有人可以向我解释如何基于以二进制项出现为权重的项文档矩阵计算两个项之间的互信息吗?

w ^HÿHØww ^HËñw ^HË[RËdØCüËñŤ1个1个1个1个1个dØCüËñŤ21个01个0dØCüËñŤ31个1个1个0

一世(X;Y)=yYxXp(x,y)log(p(x,y)p(x)p(y)

谢谢


什么是ÿXÿ
Dilip Sarwate

X和Y是项。X可以是“为什么”,Y可以是“如何”。
user18075

Answers:


7

如何形成保存文档中归一化共现的联合概率表。然后,您可以使用该表获得联合熵和边际熵。最后,

一世Xÿ=HX+Hÿ-HXÿ

1
确定联合和边际分布后,为什么必须计算H Y H X Y 并使用您展示的公式?不能通过OP给定的公式直接确定相互信息,因为“插入”所需的所有内容,即。此时已知p x y p x p y 吗?HXHÿHXÿpXÿpXpÿ
Dilip Sarwate

2
公式是等效的,只是乍看之下后者可以更容易解释。
Zoran
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.