2
有界互信息在点向互信息上有界
假设我有两个集合和以及在这些集合的联合概率分布。令和分别表示和的边际分布。XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY 和之间的相互信息定义为： XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) 即它是点向互信息pmi的平均值。(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) 假设我知道pmi上限和下限：即，我知道对于所有，以下成立： -k \ leq \ log \ left（\ frac {p（x，y）} {p（ x）p（y）} \右）\ leq k(x,y)(x,y)(x,y)x,yx,yx,y−k≤log(p(x,y)p(x)p(y))≤k−k≤log(p(x,y)p(x)p(y))≤k-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k 这意味着I（X; Y）的上限I(X;Y)I(X;Y)I(X; Y)。当然，这意味着I(X;Y)≤kI(X;Y)≤kI(X; Y) \leq k，但是如果可能的话，我希望有一个更严格的界限。这在我看来是合理的，因为p定义了概率分布，并且pmi (x,y)(x,y)(x,y)不能针对xxx和y的每个值取其最大值（甚至是非负数）yyy。