没有大概率字母时，霍夫曼代码的性能如何？

为概率分布的霍夫曼代码是具有最小加权平均码字长度的前缀码，其中是的长度个codword。一个众所周知的定理是霍夫曼码每个符号的平均长度在和，其中是Shannon熵的概率分布。$p$$\sum p_i \ell_i$$\ell_i$$i$$H(p)$$H(p)+1$$H(p) = -\sum_i \, p_i \log_2 p_i$

典型的平均长度超过Shannon熵几乎为1的坏例子是概率分布，例如，其中熵接近0，平均码字长度为1。这给出了熵与码字长度之间的差距几乎为。$\{.999, .001\}$$1$

但是，当概率分布中的最大概率有界时，会发生什么？例如，假设所有概率均小于。在这种情况下，我可以找到的最大差距是概率分布，例如，其中熵略大于1，平均码字长度略小于1.5，从而得出差距接近。这是您能做到的最好的吗？在这种情况下，您能否给间隙的上限严格小于1？$\frac{1}{2}$$\{.499, .499, .002\}$$0.5$

现在，让我们考虑所有概率都非常小的情况。假设你选择了一个概率分布的字母，每个都具有概率。在这种情况下，如果选择则会出现最大的间隙。在这里，您得到大约 在所有概率都小的情况下，这是您能做的最好的吗？$M$$1/M$$M \approx 2^k \ln 2$

这个问题是受TCS Stackexchange问​​题启发的。

有很多论文可以准确地研究您提到的问题。该系列的第一篇是Gallager撰写的论文，“霍夫曼的主题变化”，IEEE-IT，第1卷。1978年第24期，第668-674页。他证明的霍夫曼码的平均码字长度和熵（他调用数量“冗余”）之间的差总是大于严格小于（=在概率分布最大概率），在壳体 p ≥ 1 / 2，并且它是小于p + 0.086，如果p < 1 / 2。更好的界限是众所周知的，您可以在引用加拉格尔著作的众多论文中找到它们。$p$$p\geq 1/2$$p+0.086$$p<1/2$

经判断的约束，我相信你想提出一个不同的问题...或者你只是没有说明如何采取的“平均”。所以我都会回答。这两个问题的答案是否定的。$H(p) \leq \ldots \leq H(p)+1$

首先，如果您使用代码字的均匀分布定义平均代码长度，并以作为任一元素的概率上限，则考虑长度q + k的代码，其中2 q − 1个代码字的长度为q其余2 q + k - 1的长度为q + k。对于此代码完美编码的分布，平均长度接近q + k，除非您对一个元素的概率也有下限，而熵为$2^{-q}$$q+k$$2^{q-1}$$q$$2^{q+k-1}$$q+k$$q+k$。$q+\frac{k}{2}$

现在让我们考虑“平均长度”，它是指使用霍夫曼码对进行编码时的平均码字长度。这里，结合的很紧，并且示例分布在极限实现它是其中的每个元素的概率发生2 q ± 1 / 2为q ∈ ž。（为最后一个元素分配了任何剩余概率，但是它不会渐近地产生任何区别）。$p$$2^{q\pm 1/2}$$q \in {\mathbb Z}.$

例如，考虑然后$q = 7.$

得到甲=52，乙=76。我们的分布具有52个元素的概率2 - 6.5，76与概率2 - 7.5，和一个元件得到剩菜。$A + B = 128, A\sqrt{2}+B/\sqrt{2}\leq 128, \max_{A \in {\mathbb Z}} A$$A = 52, B = 76$$52$$2^{-6.5}$$76$$2^{-7.5}$

$H(X) = (52\cdot 6.5 + 76 \cdot 7.5)/128 = 7.09375$$(52 \cdot 0.5 - 76 \cdot 0.5)/128 \approx 0.99436$$Q$$D(P\Vert Q) = \sum p_i \log \frac{p_i}{q_i} + \sum (1-p_i) \log \frac{1-p_i}{1-q_i}$。几天前，我发现使用它会导致切尔诺夫双面边界更紧密，如您在Wikipedia上看到的切尔诺夫边界。）