噪声分布的熵

说我们有一个功能 $f:\mathbb{Z}_2^n \to \mathbb{R}$ 这样

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ 和 $f$ 是一个分布，即 $\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$。

的香农熵 $f$ 定义如下：

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

让 $\epsilon$保持不变。说我们得到一个$\epsilon$-嘈杂的版本 $f(x)$，即我们得到一个函数 $\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$ 这样 $|\tilde{f}(x)- f(x) | < \epsilon$ 每一个 $x\in \mathbb{Z}_2^n$。噪声对熵有什么影响？也就是说，我们可以绑定$H(\tilde{f})$ 通过“合理的”功能 $\epsilon$ 和 $H(f)$， 如：

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ 甚至， $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ 对于一些常数 $c,d$。

编辑：试图感觉到噪声对香农熵的影响，任何“合理的”加法约束 $H(\tilde{f})$ 也将非常有趣。

这样的界限是不可能的。考虑这种情况$f$ 是在某些集合上均匀的分布 $S$ 大小 $2^{\delta \cdot n}$， 然后让 $\tilde{f}$ 是概率分布 $\delta$ 输出一个均匀分布的元素 $S$，否则输出均匀分布的字符串。

不难看出您可以从中得到 $f$ 至 $\tilde{f}$ 你最多只需要噪音 $(1-\delta) \cdot 2^{-\delta \cdot n}$。然而，$H(f)= \delta \cdot n$ 而 $H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$。因此，您会得到$(1 - \delta)^2 \cdot n$ 对于任意小 $\delta$ 噪音极低。

特别是，您可以设置 $\delta = \frac{\log(1/\varepsilon)}{n}$，并获得噪音 $\varepsilon$ 和熵差 $\approx n - 2\log(1/\varepsilon)$。