log（p（x，y））如何规范逐点相互信息？

我正在尝试理解逐点相互信息的规范化形式。

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

为什么对数联合概率将逐点相互信息归一化为[-1，1]之间？

逐点相互信息是：

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

p（x，y）的边界是[0，1]，所以log（p（x，y））的边界是（，0]。看来log（p（x，y））应该以某种方式平衡变化分子，但是我不知道怎么做，这也让我想起了熵 $h=-log(p(x))$，但我仍然不了解确切的关系。

从Wikipedia上关于逐点相互信息的条目：

逐点相互信息可以在[-1，+ 1]之间进行归一化，从而使-1（在极限内）永远不会一起出现，0表示独立性，而+1表示完全共现。

为什么会发生？好吧，逐点相互信息的定义是

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

而对于归一化的逐点相互信息是：

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

什么时候有：

• 没有共现， $\log p(x,y)\to -\infty$，因此nmpi为-1，
• 随机共现 $\log p(x,y)= \log[p(x) p(y)]$，因此nmpi为0，
• 完全共现 $\log p(x,y)= \log p(x) = \log p(y)$，因此 nmpi为1。

尽管Piotr Migdal的答案在提供nmpi达到三个极值的示例方面很有帮助，但并不能证明它在区间上 $[-1,1]$。这是不等式及其推导。

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ 如 $-\log\,p(A)\ge0$ 对于任何事件 $A$。双方除以非负数$h(x,y):=-\log\,p(x,y)$， 我们有 $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$