Kullback–Leibler vs Kolmogorov-Smirnov距离

37

我可以看到，Kullback-Leibler与Kolmogorov-Smirnov距离测度之间在形式上有很多差异。但是，两者均用于测量分布之间的距离。

是否存在一种典型的情况，应使用其中一种而不是另一种？
这样做的理由是什么？

— 格雷格
source

一个相关的问题：stats.stackexchange.com/questions/4/...

— GaBorgulya

23

例如，KL-散度通常用于信息理论设置，甚至贝叶斯设置中，以测量在应用某些推断前后分布之间的信息变化。由于缺乏对称性和三角形不等式，在典型的（度量）意义上它不是距离，因此它用于方向性有意义的地方。

KS距离通常用于非参数测试。事实上，我很少看到它作为，在一个通用的“分布之间的距离” 的距离，詹森-香农的距离，和其他的距离是比较常见的。 $\ell_1$

— 苏雷什（Suresh）Venkatasubramanian
source

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

确实。这是一个很好的例子。实际上，Chernoff-Hoeffding尾边界的大多数通用版本都使用KL散度。

— Suresh Venkatasubramanian

2

另一种用外行术语表述与先前答案相同的事情的方式：

KL散度-实际提供了两个分布彼此之间有多大差异的度量。如前面的答案所提到的，此度量不是适当的距离度量，因为它不对称。即分布A和B之间的距离与分布B和A之间的距离是不同的值。

Kolmogorov-Smirnov检验-这是一种评估指标，着眼于测试分布的累积分布与参考分布之间的最大距离。此外，您可以像针对Zol分数一样针对Kolmogorov分布使用此度量标准，以执行关于检验分布是否与参考分布相同的假设检验。由于它是对称的，因此可以用作距离函数。即，A的CDF与B的CDF之间的最大间隔与B的CDF与A的CDF之间的最大间隔相同。

— 斯里兰卡
source