关于和的熵

我正在寻找两个独立的离散随机变量和的和的熵的界限。当然，但是，将其应用于独立的伯努利随机变量的总和，得出换句话说，当重复应用时，边界随线性增长。但是，大小为的集合支持，因此其熵最多为。实际上，根据中心极限定理，我猜 $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$ 因为它基本上在一组大小上受支持。

\sqrt{n}

$\sqrt{n}$

简而言之，在这种情况下，边界超调很多。通过仔细阅读这篇博文，我了解到各种边界是可能的；反复应用于贝努利随机变量的总和时，是否存在给出正确渐近性（或至少更合理的渐近性）的界限？ $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— 罗宾逊
source

我不确定你到底在问什么。如果要根据H（X）和H（Y）来确定H（X + Y）的上限，该上限适用于任意两个独立的离散随机变量X和Y，则H（X + Y）≤H（X ）+ H（Y）显然是您可以获得的最好结果；考虑当x超出X的支持范围而y超出Y的支持范围时，总和x + y都不同的情况。如果将此通用约束应用于非常特殊的情况，那么很自然地得到松散的界限。

— 伊藤刚（Tsuyoshi Ito）

@TsuyoshiIto-很好的答案是一种不等式，例如，其中减号后的项为零描述

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

— 和加

...在我看来，像这样的不等式的存在至少使我正在寻找的答案存在似乎是合理的。

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

— 罗宾逊2012年

这意味着您要查找的不是H（X）和H（Y）的 H（X + Y）上限。请编辑问题。

— 伊藤刚（Tsuyoshi Ito）2012年

我想在每一个变化的情况下比较小你的猜测是正确的答案，而不是难以进行精确的使用浆果Esseen定理

Z_{i}

$Z_i$

n

$n$

— Sasho尼科洛夫

Answers:

对于此类问题，您通常会通过考虑“平坦的”随机变量来获得正确的直觉。也就是说，将视为在大小为的集合上的均匀分布，将视为在大小为的集合上的均匀分布。 $X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

因此，您要问的问题是（大致而言）关于的大小，您能说什么？与相比和。一般而言（例如，如果它们是随机集合），那么实际上您将对应于。 $|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

时有一些特殊情况，最明显的是当和是间隔（或更通常是算术级数）时。有一些结果表明（至少在某些情况下，并且几乎尽可能小），这是唯一的情况。研究此类问题的领域被称为“加法组合”，某些结果具有这样的味道：如果然后是，则在大约是子组（正如您在问题中提到的那样，Terence Tao的博客讨论了一些此类结果，通常说来，集合大小的结果可以转移到熵设置中）。 $|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

您描述的情况大致对应于是整数间隔和是形式的整数间隔的情况（实际上，如果不尝试利用注意力集中并射击一个熵边界，当您反复应用此函数时，将有和且对于，但是实际上将更像，）。显然在这种情况下，但我不确定这是否有更一般的界限，这是特例。 $A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— 波阿斯·巴拉克
source

我相信Harremoes的这篇论文证明，如果取伯努利随机变量的总和，每个随机变量的参数为则的熵小于均值的泊松分布。从Wikipedia的快速浏览中可以看出，对于较大的值，泊松的熵为，这正是您所期望的。 $n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
source

也许您可以使用公式：

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

这看起来像是您在评论中提到的一个术语，不幸的是，我不知道有关否定词或它们的有见地界限的基数的结果。

— 里克
source