有界互信息在点向互信息上有界
假设我有两个集合和以及在这些集合的联合概率分布。令和分别表示和的边际分布。XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY 和之间的相互信息定义为: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) 即它是点向互信息pmi的平均值。(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) 假设我知道pmi上限和下限:即,我知道对于所有,以下成立: -k \ leq \ log \ left(\ frac {p(x,y)} {p( x)p(y)} \右)\ leq k(x,y)(x,y)(x,y)x,yx,yx,y−k≤log(p(x,y)p(x)p(y))≤k−k≤log(p(x,y)p(x)p(y))≤k-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k 这意味着I(X; Y)的上限I(X;Y)I(X;Y)I(X; Y)。当然,这意味着I(X;Y)≤kI(X;Y)≤kI(X; Y) \leq k,但是如果可能的话,我希望有一个更严格的界限。这在我看来是合理的,因为p定义了概率分布,并且pmi (x,y)(x,y)(x,y)不能针对xxx和y的每个值取其最大值(甚至是非负数)yyy。