是否有数量的任何使用

是否有数量的任何使用

$$\int f(x)^2 dx$$ 在统计或信息理论？

令表示概率密度函数（分别针对Lebesgue或计数度量），数量 被称为阶的Renyi熵。它是香农熵的概括，保留了许多相同的属性。对于的情况，我们将解释为，并且它对应于标准Shannon熵。$f$$\newcommand{\rd}{\mathrm{d}}$

$$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$$ $\alpha \geq 0$$\alpha = 1$$H_1(f)$$\lim_{\alpha \to 1} H_{\alpha}(f)$$H(f)$

人一在他的论文中介绍了这一点

A.仁义，关于信息和熵的度量，Proc。伯克利第四届症状。关于数学，统计 和概率。（1960），第547–561页。

非常值得一读，不仅对于创意，而且对于示范性的博览会风格也是如此。

的情况下是用于更常见的选择之一和这种特殊情况下（也）常常被称为仁义熵。在这里，我们看到， 为密度为的随机变量。$\alpha = 2$$\alpha$

$$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$$ $f$

请注意是凸函数，因此，根据詹森不等式，我们有 其中，右侧表示香农熵。因此，Renyi熵为Shannon熵提供了一个下限，并且在许多情况下更易于计算。$- \log(x)$

$$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$$

当考虑离散随机变量和独立副本时，出现Renyi熵的另一个自然实例。在某些情况下，我们想知道的概率，根据基本计算，它是 $X$$X^\star$$X = X^\star$

$$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$$

在此，表示关于值的集合上的计数度量的密度。$f$$\Omega = \{x_i: i \in \mathbb{N}\}$

（一般的）“仁义”熵显然也与处于热平衡状态下的系统的自由能有关，尽管我个人并没有这么做。关于该主题的（非常）近期的论文是

JC Baez，《仁义熵与自由能》，arXiv [quan-ph] 1101.2098（2011年2月）。