用来证明整洁的组合陈述的信息论？

54

在使用信息论以简单方式证明整洁的组合陈述时，您最喜欢的示例是什么？

一些例子我能想到的都涉及到降低对本地解码的代码，如边界，在此纸：假设为一串二进制字符串的长度的它认为对于每个，对于不同双{ }，那么m在n中至少是指数的，其中指数线性地取决于的平均比率 $x_1,...,x_m$ $n$ $i$ $k_i$ $j_1,j_2$

e_{i} = x_{j_{1}} \oplus x_{j_{2}} .

$e_i = x_{j_1} \oplus x_{j_2}.$

。

k_{i} / m

$k_i/m$

另一个（相关的）示例是布尔立方体上的等距不等式（请在您的答案中详细说明）。

你有更多好的例子吗？最好简短易懂。

co.combinatorics big-list it.information-theory

— Dana Moshkovitz
source

有人可以引用“另一个（相关）示例是布尔立方体上的等距不等式”吗？

— vzn

40

Moser关于构造性Lovasz局部引理的证明。他基本上表明，在局部引理的条件下，可以想到的第二种简单的SAT算法。（第一个最简单的方法可能是尝试一个随机赋值直到一个可行。第二个最简单的方法是选择一个随机赋值，找到一个不满意的子句，让它满意，然后查看您破坏了哪些其他子句，递归并重复直到完成。）我所见过的证明，它在多项式时间内运行的证明也许是信息论最优雅的用法（或者是Kolmogorov复杂性，无论在这种情况下您想称什么）。

— 约书亚·格罗夫（Joshua Grochow）
source

1

Moser精美的Kolmogorov复杂度证明在这里进行了解释：blog.computationalcomplexity.org/2009/06/…，但我不得不承认，我一直在寻找示例的熵/互信息/计算类型...

— Dana Moshkovitz 2010年

Kolmogorov复杂度的一些非常有趣的应用程序可以作为对此问题的答案：cstheory.stackexchange.com/questions/286

— arnab 2010年

陶瑞（Terry Tao）在他的博客上还讨论了摩泽尔

— 安东尼·利弗里尔

5

实际上，在他的第二篇论文（与Tardos一起）中，您不再需要求助于递归。您只需要查找不满意的子句，为其变量选择一个随机赋值，然后进行迭代。而已。出于某种原因，更简单的算法（具有相同的分析）尚未解决。

— Yuval Filmus

@DanaMoshkovitz：我不知道为什么我没有这么早回答您的评论：在许多方面，Kolmogorov的复杂性和熵在本质上是等效的。参见例如Hammer-Romaschenko-Shen-Vershchagin：dx.doi.org/10.1006/jcss.1999.1677。例如，基于[HRSV]，可以使用Kolmogorov复杂度代替熵，与arnab答案中的Shearer引理的证明基本相同。区别只是观点：K大约是描述长度，H大约是

…有时一个比另一个更容易/更自然。

\sum p_{i} \log p_{i}

$\sum p_i \log p_i$

— 2014年

33

我最喜欢的这种类型的例子是Shearer引理的基于熵的证明。（我从Jaikumar Radhakrishnan的Entropy and Counting了解到了这一证明以及其他一些非常漂亮的证明。）

权利要求：假设有在点已上的不同突起 -平面，在不同突起 -平面和不同凸起在 -平面。然后，。 $n$ $\mathbb{R}^3$ $n_x$ $yz$ $n_y$ $xz$ $n_z$ $xy$ $n^2 \leq n_x n_y n_z$

证明：令是从个点中随机选择的一个点。令，，分别表示其在，和平面上的投影。 $p = (x,y,z)$ $n$ $p_x$ $p_y$ $p_z$ $yz$ $xz$ $xy$

在一方面，，，和，由熵的基本属性。 $H[p] = \log n$ $H[p_x] \leq \log n_x$ $H[p_y] \leq \log n_y$ $H[p_z] \leq \log n_z$

另一方面，我们有以及

H [p] = H [x] + H [y | x] + H [z | x, y]

$H[p] = H[x] + H[y|x] + H[z | x,y]$

H [p_{x}] = H [y] + H [z | y]

$H[p_x] = H[y] + H[z|y]$

添加的最后三个方程得到：

H [p_{y}] = H [x] + H [z | x]

$H[p_y] = H[x] + H[z|x]$

H [p_{z}] = H [x] + H [y | x]

$H[p_z] = H[x] + H[y|x]$

H [p_{x}] + H [p_{y}] + H [p_{z}] =

$H[p_x] + H[p_y] + H[p_z] =$

2 H [x] + H [y] +

$2H[x] + H[y]+$

H [y | x] +

$H[y|x] +$

，其中，我们使用了调理降低熵的事实（在一般情况下，

H [z | x]

$H[z|x]$

+ H [z | y]

$+ H[z|y]$

\geq 2 H [x] + 2 H [y | x] + 2 H [z | x, y] =

$\geq 2H[x] + 2H[y|x] + 2H[z|x,y] =$

2 H [p]

$2H[p]$

H [a] \geq H [a | b]

$H[a] \geq H[a|b]$ 对于任何随机变量

）。

a, b

$a,b$

$2 \log n \leq \log n_x + \log n_y + \log n_z$ $n^2 \leq n_x n_y n_z$

— 阿纳布
source

6

值得一提的相关论文是Ehud Friedgut的“超图，熵和不等式”。它显示了熵的观点，特别是广义的Shearer's Lemma，如何可以轻松地恢复许多标准不等式，以及一些非标准的，看起来复杂的不等式。我认为这提供了启发性的观点。链接： ma.huji.ac.il/~ehudf/docs/KKLBKKKL.pdf

— Andy Drucker，2010年

26

$p$ $(L\cup R, E)$ $\prod_{v \in L} (d(v)!)^{1/d(v)}$

$M$ $H(M) = \log p$
$v \in L$ $X_v$ $R$ $v$ $M$
$X = (X_v : v \in L)$ $M$ $H(M) = H(X)$
$\leq$ $L$ $H(X) = \sum_{v\in L} H(X_v | { X_u : u < v }, \leq)$
${X_u : u < v}, \leq$ $N_v = |N(v) \setminus { X_u : u < v }|$ $v$
$N_v$ $H(X_v | { X_u : u < v }, \leq) = H(X_v | { X_u : u < v }, \leq, N_v)$
${X_u : u < v}, \leq$ $H(X_v | { X_u : u < v }, \leq, N_v) \leq H(X_v | N_v)$
$N_v$ ${1,\dots, d(v)}$
$H(X_v | N_v)$ $N_v$ $H(X_v | N_v) = \sum_{i=1}^{d(v)} \frac{1}{d(v)}H(X_v|N_v=i) \leq \frac{1}{d(v)}\sum_{i=1}^{d(v)}\log i = \log((d(v)!)^{1/d(v)}).$
通过将所有不等式组合在一起并取指数来得出结果。

$G$ $\prod_{v \in V(G)} (d(v)!)^{1/2d(v)}$

— 德里克·斯托利
source

1

H (X_{v} ∣ N_{v})

$H(X_v\mid N_v)$

H (X_{v} ∣ N_{v} = i)

$H(X_v\mid N_v = i)$

\log i

$\log i$

您是完全正确的，我已经编辑了答案以使用不等式。

— Derrick Stolee

20

皮蓬格的《组合理论中的信息理论方法》的两篇论文中包含了非常好的例子。J.梳理论先生 A 23（1）：99-104（1977）和布尔函数的熵和枚举。IEEE Transactions on Information Theory 45（6）：2096-2100（1999）。实际上，皮蓬格（Pippenger）的几篇论文都通过熵/互信息的形式很好地证明了组合事实。另外，这两本书：Jukna，《极值组合及其在计算机科学中的应用》和Aigner，《组合搜索》也有一些很好的例子。我也喜欢Madiman等人的两篇论文。可加组合学中的信息论不等式，以及Terence Tao的熵和集估计（您可以在Google Scholar中找到它们）。希望能帮助到你。

— 乌吾
source

看起来像一个很棒的阅读清单！

— Dana Moshkovitz，2010年

17

另一个很好的例子是Terry Tao的Szemerédi图正则性引理的替代证明。他用信息论的观点证明了正则引理的强形式，这对于证明超图的正则引理非常有用。到目前为止，Tao的证明是关于超图正则性引理的最简洁的证明。

让我尝试从较高的角度解释这种信息理论的观点。

$G$ $V_1$ $V_2$ $V_1 \times V_2$ $G$ $\rho = |E|/|V_1||V_2|$ $G$ $\epsilon$ $U_1 \subseteq V_1$ $U_2 \subseteq V_2$ $U_1$ $U_2$ $\rho \pm \epsilon |U_1||U_2|/|V_1||V_2|$

$x_1$ $V_1$ $x_2$ $V_2$ $\epsilon$ $U_1, U_2$ $\epsilon$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$ $G$ $x_1$ $U_1$ $x_2$ $U_2$ $(x_1,x_2)$

$V_1$ $V_2$ $U_1 \subset V_1, U_2 \subset V_2$ $U_1 \times U_2$ $\epsilon$ $x_1$ $x_2$ $E(x_1,x_2)$ $U_1(x_1)$ $U_2(x_2)$ $U_1$ $U_2$ $E$ $x_1 | U_1$ $x_2 | U_2$ $x_1$ $x_2$

— 阿纳布
source

15

基本上有一个完整的课程专门讨论这个问题：

https://catalyst.uw.edu/workspace/anuprao/15415/86751

该课程仍在进行中。因此，在撰写本文时，并非所有说明都可用。此外，已经提到了该课程的一些示例。

— 莫里兹
source

3

漂亮的指针：看起来很棒。

— Suresh Venkat 2010年

1

据我所知，此课程只有一半，笔记包含一些示例，可以很好地回答我的问题；一半研讨会，包含诸如通信下限，提取器，并行重复等示例，这些示例不仅需要信息论（这里没有注释，只是原始论文的链接）。

— Dana Moshkovitz 2010年

7

$n$ $\ell_2^d$ $1 \pm \epsilon$ $d$ $O(\log n / \epsilon^2)$ $\Omega(\log n / (\epsilon^2 \log(1 / \epsilon)))$ $\sim \log(1 / \epsilon)$

— 伊利亚拉兹
source

4

ℓ_{1}^{d}

$\ell_1^d$

这些纯粹的几何结果被TCS员工证明是非常自然和美好的！

— ilyaraz 2011年

6

$m$ $u \in [m]$ $x \in [m]$ $x=u$ $t$ $t$

$O(m^{1/t})$ $\log m$ $u$ $t$ $i \in [t]$ $(\log m)/t$ $i$ $u$

$X$ $[m]$ $H[X] = \log m$ $X_1, \dots, X_t$ $t$ $H[X] = H[X_1] + H[X_2 | X_1] + \cdots + H[X_t | X_1, \dots, X_{t-1}] \leq t \log s$ $s$ $s \geq m^{1/t}$

$t > 1$

— 3转
source

5

$P$ $P$ $O(\log |X|)$ $X$ $P$

— 吉尔·凯莱
source

3

Jiang，Li，Vitanyi 使用Kolmogorov复杂度的算法的平均情况分析。

“分析算法的平均情况复杂度是计算机科学中一个非常实际但非常困难的问题。在过去的几年中，我们证明了Kolmogorov复杂度是分析算法平均情况复杂度的重要工具。我们已经开发了不可压缩方法[7]。在本文中，我们使用几个简单的示例来进一步证明这种方法的强大功能和简单性。我们证明了对排序连续或并行Queueusort或Stacksort所需的堆栈（队列）的平均情况数的限制。

另请参见例如Kolmogorov复杂度和Heilbronn型三角问题。

— 尼尔·杨（Neal Young）
source

3

等效于Scott Aaronson 的采样和搜索。在这里，他展示了关于扩展的Church-Turing论文有效性的复杂性理论中的抽样和搜索问题的等价性。从根本上使用了标准信息论，算法信息论和Kolmogorov复杂度。

他强调：
“ 让我们强调，我们并不是将Kolmogorov复杂度仅仅用作技术上的便利，也不是作为计数论点的简写。相反，即使定义搜索问题，Kolmogorov复杂度似乎也很重要。 ”

— 杜尔加·达塔
source

0

这很简单，也很近似：10 ^9中有10 ^6个事物有多少组合，允许重复？正确的公式是

N =（10 ⁶ + 10 ⁹）！/（10 ⁶！10 ⁹！）〜= 2 ^{11409189.141937481}

但是，请想象一下如何给出指示，沿着十亿个水桶行进，沿途将一百万个大理石弹入水桶。将有〜10 ⁹ “跳到下一个桶”指令和10 ⁶ “放下大理石”指令。总信息是

log ₂（N）〜= -10 ⁶ log ₂（10 ⁶ /（10 ⁶ + 10 ⁹））-10 ⁹ log ₂（10 ⁹ /（10 ⁶ + 10 ⁹））〜= 11409200.432742426

这是一种有趣但很不错的近似（对数）对数的好方法。我喜欢它，因为如果我忘记了如何进行组合运算，它会起作用。相当于说

（a + b）！/ 一种！b！〜=（a + b）^{（a + b）} / a ^a b ^b

这就像使用斯特林的逼近，抵消和丢失一些东西。

— 未来书呆子
source

2

如果您执行一般界限而非特定数字，则可能更易读。我认为您是在谈论基于熵的汉明球的体积近似值。

— 2014年

0

Linial和Luria提供了一个很好的最新应用程序来为高维排列提供上限：http：//www.cs.huji.ac.il/~nati/PAPERS/hd_permutations.pdf

— 吉·凯莱（Gil Kalai）
source