Kullback-Leibler（KL）散度的最大值是多少

我将在我的python代码中使用KL散度，并获得了本教程。

在该教程中，实现KL散度非常简单。

kl = (model * np.log(model/actual)).sum()

据我所知，的概率分布model和actual应<= 1。

我的问题是，k的最大界限/最大可能值是多少？我需要知道我代码中的最大界限，即kl distance的最大可能值。

甚至在相同的支持下，当一个分布的尾部比另一个分布大得多时。采取 当 然后 和 还有其他距离仍然是有界的，例如p （X ）= 柯西密度⏞

$$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$$ ķ大号（P||Q）=∫ $$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$$ ∫ $$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$$ $$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$$

• 的距离，相当于总偏差距离，$L¹$
• Wasserstein距离
• 赫林格距离

对于没有相同支持的发行版，KL散度不受限制。看一下定义：

$$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$$

如果P和Q具有不同的支持，则存在某个点，其中和，使KL变为无穷大。这也适用于离散分布，这就是您的情况。$x'$$p(x') \neq 0$$q(x') = 0$

编辑：衡量概率分布之间差异的更好选择是所谓的Wasserstein距离，它是一种度量标准，比KL差异具有更好的属性。由于其在深度学习中的应用，它已变得非常流行（请参阅WGAN网络）

为了补充卡洛斯和西安的出色答案，还值得注意的是，使KL散度为有限的充分条件是，两个随机变量具有相同的紧致支持，并且有对参考密度的限制。该结果还为KL散度的最大值建立了一个隐式边界（请参见下面的定理和证明）。

---

定理：如果密度和具有相同的紧支撑，并且密度限制在该支撑上（即，具有有限的上限），则。$p$$q$$\mathscr{X}$$p$$KL(P||Q) < \infty$

证明：由于具有紧凑的支持这意味着存在一些正的最小值：$q$$\mathscr{X}$

$$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$$

同样，由于具有紧凑的支持这意味着存在一些正的最高值：$p$$\mathscr{X}$

$$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$$

此外，由于这两个密度都在同一个支撑上，并且后者是有界的，因此我们有。这意味着：$0 < \underline{q} \leqslant \bar{p} < \infty$

$$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$$

现在，让是后者的上限，我们显然有所以那：$\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$$0 \leqslant \underline{L} < \infty$

$$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$$

这确定了所需的上限，证明了定理。 $\blacksquare$