如何计算共同信息？

我有点困惑。有人可以向我解释如何基于以二进制项出现为权重的项文档矩阵计算两个项之间的互信息吗？

\begin{matrix} ^{'} w ^H ÿ^{'} & ^{'} H Ø w^{'} & ^{'} w ^H Ë ñ^{'} & ^{'} w ^H Ë [R Ë^{'} \\ d Ø C ü 米 Ë ñ Ť 1个 & 1个 & 1个 & 1个 & 1个 \\ d Ø C ü 米 Ë ñ Ť 2 & 1个 & 0 & 1个 & 0 \\ d Ø C ü 米 Ë ñ Ť 3 & 1个 & 1个 & 1个 & 0 \end{matrix}

$\begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix}$

一世 (X; Y) = \sum_{y \in Y} \sum_{x \in X} p (x, y) \log (\frac{p (x, y)}{p (x) p (y)} ）

$I(X;Y)= \sum_{y \in Y} \sum_{x \in X} p(x,y) \log\left(\frac{p(x,y)}{p(x)p(y)} \right)$

谢谢

— 用户名
source

什么是

和

？

X

$X$

Y

$Y$

— Dilip Sarwate

X和Y是项。X可以是“为什么”，Y可以是“如何”。

— user18075

如何形成保存文档中归一化共现的联合概率表。然后，您可以使用该表获得联合熵和边际熵。最后，

一世 （ X ， ÿ ） = H （ X ） + H （ ÿ ） - H （ X ， ÿ ） 。

$I(X,Y) = H(X)+H(Y)-H(X,Y).$

— 佐兰
source

确定联合和边际分布后，为什么必须计算

，

和

并使用您展示的公式？不能通过OP给定的公式直接确定相互信息，因为“插入”所需的所有内容，即。此时已知

和

吗？

H (X)

$H(X)$

H (Y)

$H(Y)$

H (X, Y)

$H(X,Y)$

p (x, y), p (x)

$p(x,y), p(x)$

p (y)

$p(y)$

— Dilip Sarwate

公式是等效的，只是乍看之下后者可以更容易解释。

— Zoran