多次尝试猜测低熵值

假设Alice 在有限（但可能非常大）的域上具有分布，使得的（香农）熵由任意小的常数上限。爱丽丝从得出一个值，然后让Bob（知道）猜出。$\mu$$\mu$$\varepsilon$$x$$\mu$$\mu$$x$

Bob的成功几率是多少？如果只允许他一个猜测，则可以按如下方式将该概率下界：熵将最小熵上界，因此存在一个元素的概率至少为。如果Bob选择此元素作为其猜测，则他的成功概率将为。$2^{-\varepsilon}$$2^{-\varepsilon}$

现在，假设鲍勃被允许做出多个猜测，比如说猜测，如果他的一个猜测是正确的，则鲍勃获胜。有没有可以提高鲍勃成功概率的猜测方案？特别是，是否有可能表明Bob的故障概率随呈指数下降？$t$$t$

鲍勃的最佳选择是猜测 $t$ 概率最大的值。

如果您愿意使用Rényi熵，那么Boztaş的熵，猜测和密码学中的第17号命题指出$t$ 猜测最多

$$1 - 2^{-H_2(\mu)\left(1-\frac{\log t}{\log n}\right)} \approx \ln 2 \left(1-\frac{\log t}{\log n}\right) H_2(\mu),$$ 哪里 $n$是域的大小。当然，对$t$ 是非常糟糕的，也许Boztaş专注于熵的另一种形式。

对于香农熵，您可以尝试解决对偶优化问题：给定固定的失败概率 $\delta$，找到这种分布的最大熵。使用的凸性$-x\log x$，我们知道分布 $\mu$ 具有形式 $a,b,\ldots,b;b,\ldots,b,c$，在哪里 $a\geq b\geq c$， $a+(t-1)b = 1-\delta$和 $c = \delta-\lfloor\frac{\delta}{b}\rfloor b$。我们有$t-1+\lfloor\frac{\delta}{b}\rfloor$ 获得概率的值 $b$。调理$s = \lfloor\frac{\delta}{b}\rfloor$，我们可以尝试寻找 $b$从而使熵最小化。为了正确的价值$s$，这将是一个内部点（导数消失）。我不确定如何使用这种方法获得渐近估计。

不幸的是，您的问题没有很好的答案。John Pliam [博士学位论文，LNCS系列的2篇论文]是第一个观察到Shannon熵与预期猜测数之间差异的人。他的论文很容易在网上找到。在第4.3节中，通过为$X$ （取决于任意正整数 $N$）来自自相似霍夫曼树，他证明了通过猜测概率的递减顺序，一个人必须做出 $N+H(X)$ 在成功的可能性达到之前猜测 $1/2$。

这就是人们继续研究仁义熵的部分原因。