是否可以在离散分布和连续分布之间应用KL散度？

12

我不是数学家。我在互联网上搜索了有关KL Divergence的信息。我了解到的是，KL散度度量的是当我们相对于输入分布来近似模型的分布时所损失的信息。我已经看到了任意两个连续或离散分布之间的差异。我们可以在连续和离散之间做到这一点吗？

distributions mathematical-statistics kullback-leibler

— 普拉卡什
source

相关：stats.stackexchange.com/q/6907/2970

— 主教

Answers:

4

否：KL散度仅在公共空间的分布上定义。它询问两个不同分布和下的点的概率密度。如果是的分布，而是上的分布，则对于和对于点没有意义。实际上，我们甚至无法针对不同维度空间上的两个连续分布（或离散的或基础概率空间不匹配的任何情况）执行此操作。 $x$ $p(x)$ $q(x)$ $p$ $\mathbb{R}^3$ $q$ $\mathbb{Z}$ $q(x)$ $p \in \mathbb{R}^3$ $p(z)$ $z \in \mathbb{Z}$

如果您有一个特定的案例，则有可能想出一些类似思路来衡量分布之间的差异。例如，可能有意义的是，例如通过舍入到离散情况下的最接近的点，在一个离散的代码下（显然是丢失了信息）对一个连续分布进行编码。

— 杜加尔
source

请注意，离散分布和绝对连续分布之间的KL散度定义明确。

— 奥利维尔

@Olivier通常的定义需要通用的控制措施，不是吗？

— Dougal

1

当在不同的空间上定义P和Q时，您是对的。但是在一个共同的可测量空间上，这种度量总是存在（例如P + Q），而KL散度并不取决于主导度量的特定选择。

— 奥利维尔

8

是的，连续随机变量和离散随机变量之间的KL散度定义明确。如果 $P$ 和 $Q$ 是一些空间上的分布 $\mathbb{X}$ ，然后两者 $P$ 和 $Q$ 有密度 $f$ ， $g$ 关于 $\mu = P+Q$ 和

D_{K L} (P, Q) = \int_{X} f \log \frac{f}{g} d μ .

$D_{KL}(P,Q) = \int_{\mathbb{X}} f \log\frac{f}{g}d\mu.$

例如，如果 $\mathbb{X} = [0,1]$ ， $P$ 是勒贝格的措施， $Q = \delta_0$ 是点质量 $0$ ，然后 $f(x) = 1-\mathbb{1}_{x=0}$ ， $g(x) = \mathbb{1}_{x=0}$ 和

d_{ķ 大号} （ P ， 问 ） = \infty 。

$D_{KL}(P, Q) = \infty.$

— 奥利维尔
source

你如何证明

\int_{X} f \log \frac{f}{g} d μ

$\int_{\mathbb{X}} f \log\frac{f}{g}d\mu$ 是否独立于主导措施？

— 加布里埃尔·罗蒙

测度定理的变化。

— 奥利维尔，

1

不一般。吉隆坡的分歧是

d_{ķ 大号} （ P | | 问 ） = \int_{X} 日志 （ \frac{d P}{d 问} ） d P

$D_{KL}(P \ || \ Q) = \int_{\mathcal{X}} \log \left(\frac{dP}{dQ}\right)dP$

规定 $P$ 关于...绝对连续 $Q$ 和两者 $P$ 和 $Q$ 是 $\sigma$ 有限的（即在 $\frac{dP}{dQ}$ 是明确定义的）。

对于某些常规空间上的小节之间的“连续到离散” KL散度，您会遇到这样的情况：勒贝格小节相对于计数小节是绝对连续的，但计数小节不是 $\sigma$ -有限。

— 托宾
source

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.