从质上讲什么是交叉熵

这个问题以公式的形式给出了交叉熵的定量定义。

维基百科说，我正在寻找一个更概念上的定义：

在信息论中，如果使用编码方案是基于给定的概率分布q而不是“真实”分布p，则两个概率分布之间的交叉熵衡量从一组可能性中识别事件所需的平均位数。。

我强调了让我难以理解的部分。我想要一个不错的定义，不需要对熵有单独的（预先存在的）理解。

要对以概率发生的事件进行编码，您至少需要log 2（1 / p ）位（为什么？请参阅我的回答“对数在Shannon熵中的作用是什么？”）。$p$$\log_2(1/p)$

因此，在最佳编码中，编码消息的平均长度为 即原始概率分布的香农熵。

$$\sum_i p_i \log_2(\tfrac{1}{p_i}),$$

$P$$Q$

$$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$$ $\sum_i p_i \log_2(\tfrac{1}{p_i})$

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

然后，如果我们想对其进行最佳编码，我们将A编码为0，将B编码为1，因此每个字母可获得1位编码消息。（这正是我们的概率分布的香农熵。）

$P$$Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$，则每个字母得到两位（例如，我们将A编码为00，B编码为01，C编码为10，D编码为11）。