没有信息论的Kullback-Leibler散度

经过对Cross Validated的大量拖延之后，我仍然觉得自己离信息理论领域之外的KL分歧越来越近了。对于具有数学背景的人来说，发现它更容易理解信息理论的解释是很奇怪的。

从信息理论背景概述我的理解：如果我们有一个随机变量且结果数量有限，则存在一种最佳编码，该编码可使我们与其他人以平均最短消息进行交流（我发现这最容易图片按位表示）。如果使用最佳编码，则传达结果所需的消息的期望长度由。如果您使用次优编码，则KL散度平均会告诉我们我们的消息会持续多长时间。

$$-\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha})$$

我喜欢这种解释，因为它很直观地处理了KL散度的不对称性。如果我们有两个不同的系统，即两个加载不同的硬币，它们将具有不同的最佳编码。我并没有本能地感觉到，将第二个系统的编码用于第一个系统与将第一个系统的编码用于第二个系统“同样糟糕”。现在，不用经历如何说服自己的思考过程，我对当对使用的编码时，会给您这个“额外的消息长度” 。

$$\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})$$ $q$$p$

但是，大多数KL散度的定义（包括Wikipedia）随后做出了这样的陈述（如果将离散点保留下来，以便可以将其与信息理论的解释相比较，后者在离散项下效果更好，因为位是离散的）。分布，然后KL提供一些“它们有多不同”的度量。我还没有看到关于这两个概念如何关联的单一解释。我似乎记得在他的推理书中，戴夫·麦凯（Dave Mackay）提出了关于数据压缩和推理基本上是同一件事的观点，而且我怀疑我的问题确实与此有关。

不管是不是，我想到的问题都是关于推理的问题。（保持离散），如果我们有两个放射性样品，并且我们知道其中一个是具有已知放射性的某种材料（这是可疑的物理学，但我们假装宇宙像那样工作），因此我们知道“真实”分布我们应该测量的放射性点击数应该是已知的泊松分布，是否建立两个样本的经验分布并将它们的KL散度与已知分布进行比较是否公平，并说较低的可能性更大？$\lambda$

避开可疑物理学，如果我知道两个样本是从同一分布中提取的，但我知道它们不是随机选择的，可以将其KL散度与已知的全局分布进行比较，使我感觉到样本的“偏差程度” ，相对于另一个而言？

最后，如果对以上问题的回答是肯定的，那为什么呢？是否可以仅从统计角度理解这些事情，而无需与信息理论建立任何（可能是脆弱的）联系？

有一种纯粹的统计方法可以解决Kullback-Leibler散度：从未知分布抽取样本 iid 并考虑相应的似然定义为 及其对数是 因此， 其中是和K_之间的Kullback-Leibler散度的有趣部分p ⋆ ˚F = { p $X_1,\ldots,X_n$$p^\star$大号（θ | X 1，... ，X Ñ）= Ñ Π我= 1个 p θ（X 我）ℓ （θ | X 1，... ，X Ñ）= Ñ Σ我= 1个日志p θ（x 我）

$$\mathfrak{F}=\{p_\theta\,,\ \theta\in\Theta\}$$ $$L(\theta|x_1,\ldots,x_n)=\prod_{i=1}^n p_\theta(x_i)$$ $$\ell(\theta|x_1,\ldots,x_n)=\sum_{i=1}^n \log p_\theta(x_i)$$ p θ p ⋆ ħ（p θ | p ⋆）DEF = ∫日志{ p ⋆（X ）/ p θ（X ） $$\frac{1}{n} \ell(\theta|x_1,\ldots,x_n) \longrightarrow \mathbb{E}[\log p_\theta(X)]=\int \log p_\theta(x)\,p^\star(x)\text{d}x$$ $p_\theta$$p^\star$ ∫日志{ p ⋆（X ） $$\mathfrak{H}(p_\theta|p^\star)\stackrel{\text{def}}{=}\int \log \{p^\star(x)/p_\theta(x)\}\,p^\star(x)\text{d}x$$ 另一部分在那里的最小值[在 ] 等于零。θ ħ（p θ | p ⋆ $$\int \log \{p^\star(x)\}\,p^\star(x)\text{d}x$$ $\theta$$\mathfrak{H}(p_\theta|p^\star)$

将散度，信息论和统计推论联系起来的一本书是Rissanen 对参数的 最优估计，我在这里进行了回顾。

这是对Kullback-Leibler差异的统计解释，大致取自IJ Good（证据权重：简要调查，Bayesian Statistics 2，1985年）。

证据的分量。

$x_1, x_2, \dots, x_n$$f_0$$H_1$$H_2$H 1 = { f 1 } H 2 = { f 2 } f 0 f 1 f $f_0$$H_1 = \{f_1\}$$H_2 = \{f_2\}$$f_0$$f_1$$f_2$

的证据重量的样品的为针对被定义为 它是一个简单的解释量，尤其是考虑了现有上的假设和。实际上，在这种情况下，后验对数为加上前验对数： 此数量还具有许多方便的属性，例如独立样本的加性： $x = (x_1, \dots, x_n)$$H_1$$H_2$

$$W(x) = \log \frac{f_1(x)}{f_2(x)} .$$ $P$$H_0$$H_1$$W$ $$\log \frac{P(H_0 | x)}{P(H_1 | x)} = W(x) + \log\frac{P(H_0)}{P(H_1)}.$$ $$W(x_1, \dots, x_n) = W(x_1) + \dots +W(x_n) .$$ Good为证据权重的使用提供了进一步的证明，并且也被Kullback和Leibler（在介绍KL散度的论文中）称为“的信息，用于区分和 ”。$W(x)$$x$$H_1$$H_2$

总之，给定样本，证据权重是一个具体的数字，旨在帮助您了解手头有多少证据。有些人甚至使用经验法则，例如“是有力的证据”（请注意，我不鼓励盲目使用此类表）。$x$$W(x)$$W(x) > 2$

Kullback-Leibler分歧

现在，和之间的Kullback-Leibler散度是样本中证据的预期权重。也就是说， $f_1$$f_2$$x \sim f_1$

$$KL(f_1, f_2) = \mathbb{E}_{x \sim f_1} W(x) = \int f_1 \log\frac{f_1}{f_2}.$$

我们应该直觉想到的样本提供了有利的正面证据对，这确实是通过不平等反映 ħ 1 = { ˚F 1 } ħ 2 ë X 〜˚F 1 w ^ （X ）≥ $x \sim f_1$$H_1 = \{f_1\}$$H_2$

$$\mathbb{E}_{x \sim f_1} W(x) \geq 0.$$

我还没有看到关于这两个概念如何关联的单一解释。

我对信息理论了解不多，但这就是我的想法：当我听到信息论人士说“消息的长度”时，我的大脑就会说“惊讶”。惊喜是1.）随机的和2.）主观的。

1.）我的意思是“惊奇”只是使用一些分布随机变量的变换。Surprise定义为，这是是否有离散随机变量的定义。$X$$q(X)$$- \log q(X)$

Surprise是一个随机变量，因此最终我们希望将其设为单个数字。2），当我说“主观的，”我的意思是你可以使用任何你想要的分布（），改造。但是，期望总是针对“真实”分布。这些可能相等也可能不相等。如果使用真变换，则具有，这就是熵。如果其他一些分布不等于，则得到，这就是交叉熵。请注意，如果使用错误的分配方式，总是会有更高的预期惊喜。$q$$X$$p$$p$$E_p[-\log p(X)]$$q$$p$$E_p[-\log q(X)]$

我没有考虑“它们有什么不同”，而是考虑“使用错误的分发会增加预期的惊喜”。这全部来自对数的属性。

$$E_p[\log \left( \frac{p(X)}{q(X)} \right)] = E_p[-\log q(X)] - E_p[- \log p(X)] \ge 0.$$

编辑

回应：“您能否详细说明是“惊喜”的量度吗？仅此数量就显得毫无意义，因为在样本空间的线性变换下它甚至都不是不变的（我假设是pdf）”$−\log(q(x))$$q$

首先，考虑一下它将值映射到什么。如果您有一个将某个值映射到，则。对于离散随机变量，概率为实现具有“惊喜”。$X$$q$$x$$0$$-\log(0) = \infty$$1$$0$

其次，是内射的，因此稀有值不会比稀有值少得到惊喜。$-\log$

对于连续随机变量，会出现负惊喜。我想这是一个缺点。$q(x) > 1$

Olivier似乎在暗示他的“证据权重”数量不属于我的属性，他称其为线性变换下的不变性（我承认我不完全理解样本空间对他的含义）。大概他在说如果，那么只要是连续的。显然由于雅可比行列式。$X \sim q_X(x)$$Y=aX+b \sim q_x((y-b)/a)|1/a|$$X$$-\log q_X(X) \neq -\log q_Y(Y)$

不过，我看不出这如何使数量“无意义”。实际上，我很难理解为什么在这种情况下不变性是理想的属性。规模可能很重要。在前面的一篇评论中，我提到了方差的示例，其中我们所期望的随机变量是。我们可以将其解释为“极端”。这个数量也遭受不变性的困扰，但是它并没有使人们对什么是差异的直觉变得毫无意义。$(X-EX)^2$

编辑2：看来我并不是唯一认为这是“惊喜”的人。从这里：

可以将以为条件的数据的残差信息定义为（直到乘法常数）（Kullback和Leibler，1951； Burnham和Anderson，1998）可以解释为“惊奇”（Good，1956），对数罚分（Bernardo，1979）或不确定性的量度。$y$$\theta$$-2 \log\{ p(y \mid \theta)\}$