Bhattacharyya距离与KL散度之间的差异

33

我正在寻找以下问题的直观解释：

在统计学和信息论中，Bhattacharyya距离和KL发散之间的区别是什么，以度量两个离散概率分布之间的差异？

他们是否绝对没有关系，并且以完全不同的方式测量两个概率分布之间的距离？

— 宝石起诉
source

36

的Bhattacharyya系数被定义为和可以变成一个距离作为，称为赫林格距离。该Hellinger距离与Kullback-Leibler散度之间的联系为

d_{乙} （ p ， q ） = \int \sqrt{p （ X ） q （ X ）} d X

$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$

d_{H} (p, q)

$d_H(p,q)$

d_{H} （ p ， q ） = {1个 - d_{乙} （ p ， q ）}^{1个 / 2}

$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$

d_{ķ 大号} （ p ‖ q ） \geq 2 d_{H}^{2} （ p ， q ） = 2 {1个 - d_{乙} （ p ， q ）} 。

$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$

但是，这不是问题：如果将Bhattacharyya距离定义为则因此，这两个距离是

d_{乙} （ p ， q ） \overset{定义}{=} - 日志 d_{乙} （ p ， q ） ，

$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$

\begin{aligned} d_{乙} （ p ， q ） = - 日志 d_{乙} （ p ， q ） & = - 日志 \int \sqrt{p （ X ） q （ X ）} d X \\ \overset{定义}{=} - 日志 \int H （ X ） d X \\ = - 日志 \int \frac{H （ X ）}{p （ X ）} p （ X ） d X \\ \leq \int - 日志 {\frac{H （ X ）}{p （ X ）}} p （ X ） d X \\ = \int \frac{- 1个}{2} 日志 {\frac{H^{2} （ X ）}{p^{2} （ X ）}} p （ X ） d X \\ = \int \frac{- 1个}{2} 日志 {\frac{q （ X ）}{p （ X ）}} p （ X ） d X = \frac{1个}{2} d_{ķ 大号} （ p ‖ q ） \end{aligned}

$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$

d_{ķ 大号} （ p ‖ q ） \geq 2 d_{乙} （ p ， q ） 。

${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$ 这样一来，人们可能会怀疑这种不平等现象是否源于第一个不平等现象。恰好相反：

- 升 Ø G （ X ） \geq 1个 - X 0 \leq X \leq 1个 ，

$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$ 在此处输入图片说明

我们具有完整的排序

d_{ķ 大号} （ p ‖ q ） \geq 2 d_{乙} （ p ， q ） \geq 2 d_{H} （ p ， q ）^{2} 。

${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$

— 西安
source

2

辉煌！这种解释应该是我急切需要的解释。最后一个问题：在什么情况下（或哪种P和Q），不平等将变得平等？

— JewelSue 2014年

1

鉴于函数是严格凸，我将承担相等的唯一情况是，当比值是在恒定。

- \log (\cdot)

$-\log(\cdot)$

p (x) / q (x)

$p(x)/q(x)$

x

$x$

— 西安

5

并且在恒定的唯一情况是。

p (x) / q (x)

$p(x)/q(x)$

x

$x$

p = q

$p=q$

— 西安

8

我不知道两者之间有任何明确的关系，但是决定快速戳一下它们，看看我能找到什么。因此，这并不是一个完整的答案，而是更多的关注点。

为简单起见，让我们研究离散分布。我们可以将BC距离写为

d_{公元前} （ p ， q ） = - \ln \sum_{X} （ p （ X ） q （ X ） ）^{\frac{1个}{2}}

$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$

KL散度为

d_{吉隆坡} （ p ， q ） = \sum_{X} p （ X ） \ln \frac{p （ X ）}{q （ X ）}

$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$

$\text{BC}$ $\text{KL}$

d_{吉隆坡} （ p ， q ） = - \ln \prod_{X} {（ \frac{q （ X ）}{p （ X ）} ）}^{p （ X ）}

$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$

$p$ $n$

d_{吉隆坡} （ p ， q ） = - \ln ñ - \ln {（ \prod_{X} q （ X ） ）}^{\frac{1个}{ñ}} d_{公元前} （ p ， q ） = - \ln \frac{1个}{\sqrt{ñ}} - \ln \sum_{X} \sqrt{q （ X ）}

$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$

$p$ $q$

— 安迪·琼斯（Andy Jones）
source