仁义熵的效用？

14

我们大多数人都熟悉（或至少听说过）随机变量的香农熵 $H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr]$ ，以及所有相关的信息理论量度，例如相对熵，相互信息，等等。在理论计算机科学和信息理论中，还有一些其他的熵度量，例如随机变量的最小熵。

当我浏览文献时，我开始越来越频繁地看到这些所谓的仁义熵。他们概括了香农熵和最小熵，并且实际上提供了随机变量的整个熵度量。我主要从事量子信息领域的研究，在该领域中，人们也经常考虑Renyi熵的量子形式。

我真正不明白的是它们为什么有用。我听说，通常说来，与Shannon / von Neumann熵或min-entropy相比，使用它们进行分析更容易。但是它们也可以与香农熵/最小熵相关。

任何人都可以提供使用Renyi熵何时“正确”的例子（经典或量子）？我正在寻找的是一些“心理挂钩”或“模板”，以了解何时需要使用人一熵。

谢谢！

it.information-theory quantum-information

— 袁
source

我的答案的附录：似乎有一个q-Renyi熵的概率定义（）i，e。然后，这个RHS称为“香农熵”，其中一个也定义了另一个限制，即这些想法似乎已在扩展器构造中找到了用途，如此处math.rutgers.edu/~sk1233/courses/topics-S13，math.ias所示。 edu /〜avi / PUBLICATIONS / MYPAPERS / CRVW01 / crvw01.pdf，arxiv.org / pdf / math / 0406038.pdf

q \in Z^{+}

$q \in \mathbb{Z}^+$

H_{q} ({p_{i}}_{i = 1}^{n}) = \frac{1}{1 - q} l n [\sum_{k = 1}^{n} p_{k}^{q}]

$H_q (\{ p_i \}_{i=1}^n )= \frac{1}{1-q} ln [ \sum_{k=1}^n p_k^q ]$

l i m_{q \to 1} H_{q} = - \sum p_{k} l n (p_{k})

$lim_{q \rightarrow 1} H_q = - \sum p_k ln (p_k)$

H_{\infty} (X) = l n [\frac{1}{m a x_{a} P r [X = a]}]

$H_{\infty} (X) = ln [\frac{1}{ max_{a} Pr[X=a]} ]$

— Anirbit 2015年

15

考虑尝试对分布在某个有限集的未知随机变量进行原子猜测在Shannon熵中，假定您可以一点一点地查询，即，如果您可以询问： $X$ $A.$ $A=\{1,\ldots,N\}$

是？ $X\in \{1,\ldots,N/2\}$ （假设为或使用地面/天花板功能） $N$

在加密和某些解码方案中，这是不现实的。试图猜测一个未知的密码，您需要进行原子查询，即查询是否为特定值。 $X$

事实证明，查询的预期数量猜测随机变量，然后紧紧地取决于订单的仁义熵所以，做一些更高的时刻。例如 $X$ $1/2.$

E [G] \leq \frac{(\sum_{x \in A} P_{X} (x)^{1 / 2})^{2}}{2}

$E[G]\leq \frac{(\sum_{x \in A} P_X(x)^{1/2})^2}{2}$

而分子本质上是为了仁义熵的对数你也可以让香农熵非常大，而猜测的数量仁义熵和期望是非常小的。如果您依靠Shannon熵来确保安全性，那么在这种情况下将会遇到麻烦。 $1/2.$

另请参阅相关问题，多次尝试猜测低熵值

一些参考：

乔·普利亚姆（JO Pliam），《蛮力攻击中的熵和边际猜测的不可比性》。INDOCRYPT 2000：67-79
E. Arikan，关于猜测的不等式及其在顺序解码中的应用。IEEE Transactions on Information Theory 42（1）：99-105,1996。
S.Boztas，《关于Renyi熵及其在密码学中猜测攻击的应用》，《电子，通信与计算机科学基础的IEICE交易》，97（12）：2542-2548，2014。

— 科德鲁
source

我无法访问此S.Boztas论文。您有一个可公开访问的链接？

— Anirbit 2015年

@Anirbit参见RMIT研究资料库researchbank.rmit.edu.au

— kodlu 2015年

我已经搜索了该链接。它只把我圈了。我从未找到可公开访问的pdf文件！

— Anirbit

@Anirbit，对不起，我以为它确实存放在这里！

— kodlu

18

仁义熵是类似的，在某种意义上，对 -norms，让我们首先回顾为什么这些规范是有用的。 $\ell_p$

假设我们有一个数字的矢量。我们想要一个单一的数字，从某种意义上讲，它代表典型外观。 $a \in \mathbb{R}^n$ $a$

这样做的一种方法是取平均的数字在，这大致相当于范：。这往往是有用的，但对于某些应用中存在以下问题：首先，规范并没有给我们的最大元素上界一个很好的，因为如果有一个大的元素，许多零的范数将明显小于最大元素。在另一方面， $a$ $\ell_1$ $\mathbb{E}_{1 \le i \le n}[|a_i|]$ $\ell_1$ $a$ $\ell_1$ $\ell_1$ 规范也没有给我们很好的界限，例如的元素有多小，具有多少个零-这个问题在与以前完全相同的情况下发生。 $a$ $a$

当然，当所述元素有很多方差，例如在极端的情况如上述，没有单一的数量可以得到解决上述这两个问题。我们需要权衡。例如，如果我们只想知道最大的元素，我们可以使用常态，但随后我们将失去对更小的元素的所有信息。如果我们要零的数量，我们可以看看规范，这是支持的只是大小。 $a$ $\ell_\infty$ $\ell_0$ $a$

现在，考虑的原因规范是他们给了我们两个极端之间的整个连续权衡。如果我们想获得有关大元素的更多信息，我们可以将设为更大，反之亦然。 $\ell_p$ $p$

这同样适用于仁义熵：香农的熵就像范-它告诉我们一些有关元素的“典型”的可能性，但没有关于方差或极端。最小熵为我们提供了具有最大概率的元素信息，但丢失了有关其余元素的所有信息。支撑尺寸给另一个极端。Renyi熵使我们在两个极端之间不断取舍。 $\ell_1$

例如，很多时候Renyi-2熵是有用的，因为它一方面接近Shanon的熵，因此包含有关分布中所有元素的信息，另一方面提供了有关具有最大元素的更多信息。可能性。尤其是，已知Renyi-2熵的界限给出了最小熵的界限，请参见例如此处的附录A：http : //people.seas.harvard.edu/~salil/research/conductors-prelim .ps

— 或梅尔
source

11

Renyi熵（2阶）在密码学中用于分析冲突概率很有用。

回想一下，的随机变量的2阶的仁义熵由下式给出 $X$

H_{2} (X) = - \log_{2} \sum_{x} Pr [X = x]^{2} .

$H_2(X) = - \log_2 \sum_x \Pr[X=x]^2.$

事实证明，让我们测量了根据的分布iid得出的两个值恰好相同（“碰撞”）的概率：该概率恰好是。拉丝后从此分发倍，碰撞的预期数中这些彩票是。 $H_2(X)$ $X$ $2^{-H_2(X)}$ $n$ $n$ $C(n,2) 2^{-H_2(X)}$

这些事实在密码学中很有用，因为在这种情况下，冲突有时可能会成为问题并使攻击成为可能。

为了对密码学的其他用途进行一些分析，我推荐以下博士学位论文：

克里斯蒂安·卡钦（Christian Cachin）。密码学的熵测度与无条件安全性。博士学位论文，苏黎世联邦理工学院，1997年5月。

— DW
source

q-Renyi熵是否有这样的直接概率定义？（正如您从我的回答中所看到的那样，我知道在任意q定义此值的唯一方法是通过定义与物理系统相对应的分区函数，该物理系统已通过其拉格朗日或哈密顿量或其作用来指定）

— Anirbit

@Anirbit，我不知道。我没有回想过（尽管q-Renyi熵有可能导致我们关注的其他范围的界限...）

— DW 2015年

同样，“信息熵”似乎基本上是“热力学熵”。因此，即使在（q = 1）-Renyi熵（即纠缠熵）下，关于它的复杂性解释在概念上也存在差距？

— Anirbit 2015年

@DW：尼斯的答案，我忘了把这种情况下：确实似乎各种顺序的仁义熵被用不同的加密方案连接，包括例如最小-熵（其对应于仁义参数接近

），其起着参与随机性提取。

- \infty

$-\infty$

— kodlu 2015年

@DW似乎是一个概率解释。看我对原始问题的评论。

— Anirbit 2015年

3

其他stackexchange答案和此博客文章可能对快速了解基本示例很有帮助，

粗略地说，仁义熵知道量子系统的激发态，但是纠缠熵知道基态。警告：这种直觉可能非常粗糙，但可能只是一个很好的“心理钩子”：DI非常高兴知道更好，更精确的说法！

$S_1$ $S_q$ $q \in \mathbb{Z}^+$ $S_1 = limit_{q \rightarrow 1} S_q$ $S_q$ $q \in \mathbb{R}$ and then try to define taking of the $q \rightarrow 1$ limit. (though always $q \in \mathbb{R}$ , this I call "analytic" continuation because often enough one needs to do the interpolation via contours in the complex plane - and the continuation can depend on what contours one chooses through the poles and branch-cuts of the $S_q$ that one started with)

At integral values of $q>1$ typically there is a always a very well-defined construction in terms of some integration of some function on some $q-$ branched manifold. After one has done such an integration one happily forgets about the manifold used and just tries to do the analytic continuation parametrically in the variable $q$ .

There are always a lot of issues about existence and well-posedness when one tries to do these anayltic continuations - but for someone like me who is brought up on a daily diet of Feynman path-integrals its a very common issue to deal with and we have a lot of tools to address these. Three nice papers to look into for these issues are, http://arxiv.org/pdf/1306.5242.pdf, http://arxiv.org/pdf/1402.5396.pdf, http://arxiv.org/pdf/1303.7221.pdf (the last of these papers might be an easier starting point) This presentation might also help, https://www.icts.res.in/media/uploads/Talk/Document/Tadashi_Takayanagi.pdf

What Renyi entropy says in terms of quantum complexity theory might be an exciting question! Can one think of the Renyi index as somehow parameterizing a hierarchy of complexity classes? That should be fun if true! Do let me know :)

— Anirbit
source

0

Renyi entropy has found its way into definitions of quantitative information flow, an area or security research. See G. Smith's survey paper.

— Kai
source