凭直觉，为什么交叉熵可以度量两个概率分布的距离？

对于两个离散分布和，交叉熵定义为 $p$ $q$

H （ p ， q ） = - \sum_{X} p （ X ） 日志 q （ X ） 。

$H(p,q)=-\sum_x p(x)\log q(x).$

我不知道为什么这将是两个概率分布之间距离的直观度量？

我看到是熵，其中的措施“惊喜” 。是用代替的度量。我仍然不理解该定义背后的直观含义。 $H(p,p)$ $p$ $p$ $H(p,q)$ $p$ $q$

probability distributions cross-entropy

— 卡迪斯塔
source

我建议您查找度量标准（和距离）的数学定义。通常，遵循这些属性是函数应遵循的最低要求，因为它确实是距离。希望能帮助到你。虽然看起来

H (p, q) = H (p) + D_{K L} (p | | q)

$H(p,q) = H(p) + D_{KL}(p || q )$ 。直观地讲，由于它的功能是KL散度的一部分，因此我假设它是p和q的散度，它被熵p抵消。虽然，这只是一个猜测。而且，发散度不是度量/距离，因此如果交叉熵是，我会感到惊讶。

— 查理·帕克

然后了解Kullback_leibler发散有助于理解交叉熵： stats.stackexchange.com/questions/188903/...

— HALVORSEN的Kjetil b

这是一段精彩视频，以清晰，简单的方式解释了KL发散：youtube.com/watch?v=ErfnhcEV1O8

— Katherine Chen

看看这个“直觉背后交叉熵”帮助：medium.com/@siddharth.4oct/...

— 亚洲时报Siddharth罗伊

在生成模型中，将交叉熵最小化通常用作学习目标，其中p是真实分布，q是学习分布。

p和q的交叉熵等于p的熵加上p和q之间的KL散度。

$H(p, q) = H(p) + D_{KL}(p||q)$

您可以将视为一个常数，因为直接来自训练数据，而不是模型学习的。因此，只有KL分歧项才重要。KL发散作为概率分布之间的距离的动机是，它告诉您通过使用分布p而不是近似值q获得了多少位信息。 $H(p)$ $p$

请注意，KL散度不是合适的距离指标。一方面，它在p和q中不对称。如果需要概率分布的距离度量，则必须使用其他度量。但是，如果您非正式地使用“距离”一词，则可以使用KL散度。

— 亚伦
source

为什么将p视为常数？你在学什么”？问最初的问题没有提及学习，所以我有兴趣更好地理解您的意思:)

— Charlie Parker

编辑它，使其更清晰。p是来自训练数据的分布，q是模型学习的。

— 亚伦