有界互信息在点向互信息上有界

假设我有两个集合和以及在这些集合的联合概率分布。令和分别表示和的边际分布。 $X$ $Y$ $p(x,y)$ $p(x)$ $p(y)$ $X$ $Y$

和之间的相互信息定义为： $X$ $Y$

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

即它是点向互信息pmi的平均值。 $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

假设我知道pmi上限和下限：即，我知道对于所有，以下成立： $(x,y)$ $x,y$

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

这意味着上限 $I(X; Y)$ 。当然，这意味着 $I(X; Y) \leq k$ ，但是如果可能的话，我希望有一个更严格的界限。这在我看来是合理的，因为p定义了概率分布，并且pmi $(x,y)$ 不能针对 $x$ 和每个值取其最大值（甚至是非负数） $y$ 。

entropy mutual-information information-theory

— 弗洛里安
source

当联合概率和边际概率统一时，pmi（

x

$x$ ，

y

$y$ ）统一为零（因此是非负的，显然与您的最后一个声明相矛盾，只是勉强相符）。在我看来，如果我没记错的话，那么在

小子集上扰动这种情况就

X \times Y

$X \times Y$ 表明pmi的界限几乎没有说明

I (X; Y)

$I(X;Y)$ 本身。

— ub

实际上，如果和是独立的，则不变，而与边际分布无关。因此，有一整套分布，为每个和获得最大值。

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— 红衣主教

是的，pmi对于所有和都可以相等，这确实是对的，但是这并不排除更严格的界限。例如，不难证明。这是时，并且是结合的非平凡加强当。我想知道是否存在更平常的界限。

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— Florian

我怀疑对于，您会得到比更好的约束。如果您想看起来更努力，请尝试根据p（x）p（y）和p（x，y）之间的KL差异重新构想您的问题。Pinsker的不等式为MI提供了下限，这可能证实了我的直觉。另请参阅ajmaa.org/RGMIA/papers/v2n4/relog.pdf的第4节。

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv 2011年

Answers:

我的贡献包括一个例子。它说明了在给定点式互信息的范围内如何限制互信息的一些限制。

对于所有取和。对于任何令是方程式然后，我们将点质量放置在乘积空间中的点中，这样在每一行和每一列中都有个这些点。（这可以通过多种方式完成。例如，从第一行中的前个点开始，然后通过移动填充其余行 $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$ 向右指向1，每行具有循环边界条件）。我们将点质量放在剩余的点中。这些点质量的总和为因此它们给出了概率度量。所有边际概率都是因此，两种边际分布都是一致的。

e^{- k} / n^{2}

$e^{-k}/n^2$

n^{2} - n m

$n^2 - nm$

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$

通过构造，显然对于所有和（计算）其中互信息表现为为和作为为。 $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
source

我不确定这是否是您要寻找的东西，因为它大多是代数的，并没有真正利用p的属性作为概率分布，但是您可以尝试以下方法。

由于pmi的界限，显然，因此。我们可以代替的，以获得 $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ $p(x,y)\leq p(x)p(y)\cdot e^k$ $p(x,y)$ $I(X;Y)$ $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

我不确定这是否有帮助。

编辑：经过进一步的审查，我认为这实际上没有k的原始上限有用。我不会删除此内容，以防它可能提示某个起点。

— 迈克尔·麦克高恩
source

在您记下和（自以来）之后，此界限的值变得显而易见。

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$

k \geq 0

$k \ge 0$

e^{k} \geq 1

$e^k \ge 1$

— ub

是的，当我意识到自己进行了编辑。

— Michael McGowan