用蒙特卡洛估计Kullback Leibler（KL）的散度

10

我想估计两个连续分布f和g之间的KL散度。但是，我无法写下f或g的密度。我可以通过某种方法（例如，马尔可夫链蒙特卡洛）从f和g中采样。

从f到g的KL散度定义如下

d_{ķ 大号} （ F | | G ） = \int_{- \infty}^{\infty} F （ X ） 日志 （ \frac{F （ X ）}{G （ X ）} ） d X

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx$

这是关于f 的期望，因此您可以想象一些蒙特卡洛估计 $\log\left(\frac{f(x)}{g(x)}\right)$

\frac{1个}{ñ} \sum_{一世}^{ñ} 日志 （ \frac{F （ X_{一世} ）}{G （ X_{一世} ）} ）

$\frac{1}{N}\sum_i^N \log\left(\frac{f(x_i)}{g(x_i)}\right)$

其中i索引从f提取的N个样本（即，对于i = 1，...，N， $x_i \sim f()$ ）

但是，由于我不知道f（）和g（），因此甚至无法使用此蒙特卡洛估计。在这种情况下估算KL的标准方法是什么？

编辑：我不知道f（）或g（）的非归一化密度

kullback-leibler

— 怪胎
source

您是否考虑过使用ecdfs？

— 托比，

这会起作用，但是对于f和g的艰难选择（靠近或靠近尾巴），它可能会变慢。如果您决定忽略远离尾巴的样本，则可能会对roc的上限有更多的希望。

— 克里斯蒂安·查普曼

基本上重复： stats.stackexchange.com/questions/211175/...

— 的Kjetil b HALVORSEN

7

我假设您可以将和评估为归一化常数。表示和。 $f$ $g$ $f(x) = f_u(x)/c_f$ $g(x) = g_u(x)/c_g$

可以使用的一致估计量为其中是比率的重要性采样估计量。在这里，您使用和作为器乐密度和分别与目标非标准化密度的对数比。

\hat{D_{K L}} (f | | g) = {[n^{- 1} \sum_{j} f_{u} (x_{j}) / π_{f} (x_{j})]}^{- 1} \frac{1}{N} \sum_{i}^{N} [\log (\frac{f_{u} (z_{i})}{g_{u} (z_{i})}) \frac{f_{u} (z_{i})}{π_{r} (z_{i})}] - \log (\hat{r})

$\widehat{D_{KL}}(f || g) = \left[n^{-1} \sum_j f_u(x_j)/\pi_f(x_j)\right]^{-1}\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] - \log (\hat{r})$

\begin{matrix} (1) & \hat{r} = \frac{1 / n}{1 / ñ} \frac{\sum_{Ĵ} F_{ü} （ X_{Ĵ} ） / π_{F} （ X_{Ĵ} ）}{\sum_{Ĵ} G_{ü} （ ÿ_{Ĵ} ） / π_{G} （ ÿ_{Ĵ} ）} 。 \end{matrix}

$\hat{r} = \frac{1/n}{1/n}\frac{\sum_j f_u(x_j)/\pi_f(x_j)}{\sum_j g_u(y_j)/\pi_g(y_j)} \tag{1}.$

c_{f} / c_{g}

$c_f/c_g$

π_{f}

$\pi_f$

π_{g}

$\pi_g$

f_{u}

$f_u$

g_{u}

$g_u$

π_{r}

$\pi_r$

因此，让，和。（1）的分子收敛到。分母收敛到。该比率通过连续映射定理是一致的。通过再次连续映射，比率的对数是一致的。 $\{x_i\} \sim \pi_f$ $\{y_i\} \sim \pi_g$ $\{z_i\} \sim \pi_r$ $c_f$ $c_g$

关于估算器的另一部分，由大数定律决定。

\frac{1个}{ñ} \sum_{一世}^{ñ} [日志 （ \frac{F_{ü} （ ž_{一世} ）}{G_{ü} （ ž_{一世} ）} ） \frac{F_{ü} （ ž_{一世} ）}{π_{[R} （ ž_{一世} ）}] \overset{如}{\to} C_{F} Ë [日志 （ \frac{F_{ü} （ ž_{一世} ）}{G_{ü} （ ž_{一世} ）} ）]

$\frac{1}{N}\sum_i^N \left[\log\left(\frac{f_u(z_i)}{g_u(z_i)}\right)\frac{f_u(z_i)}{\pi_r(z_i)}\right] \overset{\text{as}}{\to} c_f E\left[ \log\left(\frac{f_u(z_i)}{g_u(z_i)}\right) \right]$

我的动机如下：

\begin{aligned} d_{ķ 大号} （ F | | G ） & = \int_{- \infty}^{\infty} F （ X ） 日志 （ \frac{F （ X ）}{G （ X ）} ） d X \\ = \int_{- \infty}^{\infty} F （ X ） {日志 [\frac{F_{ü} （ X ）}{G_{ü} （ X ）}] + 日志 [\frac{C_{G}}{C_{F}}]} d X \\ = Ë_{F} [日志 \frac{F_{ü} （ X ）}{G_{ü} （ X ）}] + 日志 [\frac{C_{G}}{C_{F}}] \\ = C_{F}^{- 1个} Ë_{π_{[R}} [日志 \frac{F_{ü} （ X ）}{G_{ü} （ X ）} \frac{F_{ü} （ X ）}{π_{[R} （ X ）}] + 日志 [\frac{C_{G}}{C_{F}}] 。 \end{aligned}

$\begin{align*} D_{KL}(f || g) &= \int_{-\infty}^{\infty} f(x) \log\left(\frac{f(x)}{g(x)}\right) dx \\ &= \int_{-\infty}^{\infty} f(x)\left\{ \log \left[\frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right]\right\} dx \\ &= E_f\left[\log \frac{f_u(x)}{g_u(x)} \right] + \log \left[\frac{c_g}{c_f} \right] \\ &= c_f^{-1} E_{\pi_r}\left[\log \frac{f_u(x)}{g_u(x)}\frac{f_u(x)}{\pi_r(x)} \right] + \log \left[\frac{c_g}{c_f} \right]. \end{align*}$ 因此，我将其分解为易处理的部分。

有关如何模拟似然比的更多想法，我发现了一篇包含以下内容的论文：https ://projecteuclid.org/download/pdf_1/euclid.aos/1031594732

— 泰勒
source

（+1）在这里值得注意的是，如果目标分布的尾部比您从中采样的分布更胖和/或维数全部很大，则重要性采样可以具有极高的方差（甚至是无限方差）。

— 戴维·哈里斯

@ DavidJ.Harris非常非常对

— Taylor

6

在这里，我假设您只能从模型中采样；未归一化的密度函数不可用。

你写的

d_{ķ 大号} （ F | | G ） = \int_{- \infty}^{\infty} F （ X ） 日志 （ \underset{=： [R}{\underset{⏟}{\frac{F （ X ）}{G （ X ）}}} ） d X ，

$D_{KL}(f || g) = \int_{-\infty}^{\infty} f(x) \log\left(\underbrace{\frac{f(x)}{g(x)}}_{=: r}\right) dx,$

在这里我将概率比定义为。Alex Smola写道，尽管在不同的上下文中，您可以通过训练分类器来“轻松”地估算这些比率。让我们假设您获得了一个分类器，它可以告诉您观察值由生成的可能性。请注意，。然后： $r$ $p(f|x)$ $x$ $f$ $p(g|x) = 1 - p(f|x)$

[R = \frac{p （ X | F ）}{p （ X | G ）} = \frac{p （ F | X ） p （ X ） p （ G ）}{p （ G | X ） p （ X ） p （ F ）} = \frac{p （ F | X ）}{p （ G | X ）} ，

$r = \frac{p(x|f)}{p(x|g)} \\ = \frac{p(f|x) {p(x) p(g)}}{p(g|x)p(x) p(f)} \\ = \frac{p(f|x)}{p(g|x)},$

其中第一步归因于贝叶斯，而最后一步遵循的假设。 $p(g) = p(f)$

获得这样的分类器可能很容易，原因有两个。

首先，您可以进行随机更新。这意味着，如果您使用的是Logistic回归或神经网络常用的基于梯度的优化器，则只需从和中提取一个样本并进行更新即可。 $f$ $g$

其次，由于您实际上拥有无限的数据-您只需采样和即可死亡-您不必担心过度拟合等问题。 $f$ $g$

— 拜耳
source

0

除了@bayerj提到的概率分类器方法外，您还可以使用在[1-2]中得出的KL散度的下限：

ķ 大号 [F ‖ G] \geq \underset{Ť}{SUP} {Ë_{X 〜 F} [Ť （ X ）] - Ë_{X 〜 G} [经验值 （ Ť （ X ） - 1个 ）]} ，

$\mathrm{KL}[f \Vert g] \ge \sup_{T} \left\{ \mathbb{E}_{x\sim f}\left[ T(x) \right] - \mathbb{E}_{x\sim g} \left[ \exp \left( T(x) - 1 \right)\right] \right\},$ 其中是任意的功能。在某些温和的条件下，边界对于以下条件是紧的：

T : X \to R

$T:\mathcal{X}\to\mathbb{R}$

Ť （ X ） = 1个 + \ln [\frac{F （ X ）}{G （ X ）}]

$T(x) = 1 + \ln \left[ \frac{f(x)}{g(x)} \right]$

为了估计和之间的KL散度，我们将函数的下界wrt最大化。 $f$ $g$ $T(x)$

参考文献：

[1] Nguyen，X.，Wainwright，MJ和密歇根州乔丹，2010。通过凸风险最小化估计散度函数和似然比。IEEE Transactions on Information Theory，56（11），第5847-5861页。

[2] Nowozin，S.，Cseke，B.和Tomioka，R.，2016年。f-gan：使用变分散度最小化训练生成型神经采样器。神经信息处理系统的进展（第271-279页）。

— ong
source