什么是经验熵？

在共同典型集合的定义中（在“信息论的元素”，第7.6章，第195页）中，我们使用

$$-\frac{1}{n} \log{p(x^n)}$$ 作为序列的经验熵，其中。我以前从未遇到过这种术语。根据书的索引，没有在任何地方明确定义它。$n$$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

我的问题基本上是：为什么经验熵不是其中是经验分布？$-\sum_{x}{\hat p (x) \log(\hat p(x))}$$\hat p(x)$

这两个公式之间最有趣的区别和相似之处是什么？（就他们共享/不共享的属性而言）。

如果数据，即，ñ从样品空间-序列X，经验点的概率为 p（X ）= $x^n = x_1 \ldots x_n$$n$$\mathcal{X}$ 为X∈X。这里δX（X我）是一个，如果X我=X，否则为零。也就是说，p（X）是相对频率X中所观察到的序列。该熵由经验点的概率给出的概率分布是 ħ（ p）=-

$$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$$ $x \in \mathcal{X}$$\delta_x(x_i)$$x_i = x$$\hat{p}(x)$$x$ 后者同一性如下通过互换两个总和，并指出，ΣX∈ X δX（X我）日志 p（X）=日志 p（X我）。 由此我们看到， ^ h（ p）=- $$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$$ $$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$$ 与 p（XÑ）=Π ñ 我= 1个 p（X我）和使用的术语从问题是这种的经验熵经验概率分布。正如@cardinal在评论中指出的，− $$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$$ $\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$是点概率为p的给定概率分布的经验熵。$- \frac{1}{n} \log p(x^n)$$p$

熵是为概率分布定义的。当您没有一个数据，而只有一个数据，并且插入概率分布的幼稚估计量时，您将获得经验熵。如另一个答案所示，这对于离散（多项式）分布最简单，但对于其他分布，也可以通过装仓等方式完成。

经验熵的一个问题是它对于少量样本有偏倚。概率分布的简单估计显示出由于采样噪声而产生的额外变化。当然，可以使用更好的估计器，例如对多项式参数使用合适的先验，但是要真正做到无偏不易。

以上也适用于条件分布。另外，一切都与装仓（或内核化）有关，因此您实际上具有一种微分熵。