3
没有信息论的Kullback-Leibler散度
经过对Cross Validated的大量拖延之后，我仍然觉得自己离信息理论领域之外的KL分歧越来越近了。对于具有数学背景的人来说，发现它更容易理解信息理论的解释是很奇怪的。 从信息理论背景概述我的理解：如果我们有一个随机变量且结果数量有限，则存在一种最佳编码，该编码可使我们与其他人以平均最短消息进行交流（我发现这最容易图片按位表示）。如果使用最佳编码，则传达结果所需的消息的期望长度由。如果您使用次优编码，则KL散度平均会告诉我们我们的消息会持续多长时间。− ∑αpα日志2（pα）−∑αpαlog2(pα) -\sum _{\alpha}p_{\alpha}\log_{2}(p_{\alpha}) 我喜欢这种解释，因为它很直观地处理了KL散度的不对称性。如果我们有两个不同的系统，即两个加载不同的硬币，它们将具有不同的最佳编码。我并没有本能地感觉到，将第二个系统的编码用于第一个系统与将第一个系统的编码用于第二个系统“同样糟糕”。现在，不用经历如何说服自己的思考过程，我对当对使用的编码时，会给您这个“额外的消息长度” 。∑αpα（日志2qα− 日志2pα）∑αpα(log2qα−log2pα)\sum _{\alpha}p_{\alpha}( \log _{2}q_{\alpha}-\log_{2}p_{\alpha})qqqppp 但是，大多数KL散度的定义（包括Wikipedia）随后做出了这样的陈述（如果将离散点保留下来，以便可以将其与信息理论的解释相比较，后者在离散项下效果更好，因为位是离散的）。分布，然后KL提供一些“它们有多不同”的度量。我还没有看到关于这两个概念如何关联的单一解释。我似乎记得在他的推理书中，戴夫·麦凯（Dave Mackay）提出了关于数据压缩和推理基本上是同一件事的观点，而且我怀疑我的问题确实与此有关。 不管是不是，我想到的问题都是关于推理的问题。（保持离散），如果我们有两个放射性样品，并且我们知道其中一个是具有已知放射性的某种材料（这是可疑的物理学，但我们假装宇宙像那样工作），因此我们知道“真实”分布我们应该测量的放射性点击数应该是已知的泊松分布，是否建立两个样本的经验分布并将它们的KL散度与已知分布进行比较是否公平，并说较低的可能性更大？λλ\lambda 避开可疑物理学，如果我知道两个样本是从同一分布中提取的，但我知道它们不是随机选择的，可以将其KL散度与已知的全局分布进行比较，使我感觉到样本的“偏差程度” ，相对于另一个而言？ 最后，如果对以上问题的回答是肯定的，那为什么呢？是否可以仅从统计角度理解这些事情，而无需与信息理论建立任何（可能是脆弱的）联系？