聚类：我应该使用Jensen-Shannon Divergence还是其平方？

我正在使用“ 相似性传播”算法对概率分布进行聚类，并且计划使用Jensen-Shannon发散作为我的距离度量。

将JSD本身用作距离是正确的，还是JSD平方？为什么？选择一个或另一个会导致什么差异？

— AlcubierreDrive
source

我认为这取决于如何使用它。

仅供其他读者参考，如果和是概率测度，则詹森-香农散度为 $P$ $Q$ 其中

Ĵ （ P ， 问 ） = \frac{1个}{2} （ d （ P ∣∣ [R ） + d （ 问 ∣∣ [R ） ）

$J(P,Q) = \frac{1}{2} \big( D(P \mid\mid R) + D(Q\mid\mid R) \big)$

是中点测量和

是相对熵。

R = \frac{1}{2} (P + Q)

$R = \frac{1}{2} (P + Q)$

D (\cdot ∣∣ \cdot)

$D(\cdot\mid\mid\cdot)$

现在，我很想使用Jensen-Shannon发散的平方根，因为它是一个度量，即它满足距离度量的所有“直观”属性。

有关更多详细信息，请参见

Endres和Schindelin，一种用于概率分布的新指标，IEEE Trans。在信息上。y ，卷 49号 3，2003年7月，第1858-1860页。

当然，从某种意义上讲，这取决于您需要什么。如果您仅使用它来评估成对度量，那么JSD的任何单调变换都将起作用。如果您正在寻找最接近“平方距离”的东西，那么JSD本身就是类似的数量。

顺便说一句，您可能也对先前的问题以及相关的答案和讨论感兴趣。

— 红衣主教
source

很酷，我会尽快阅读“概率分布的新指标”。Txh

— ocram 2011年

谢谢！我没有意识到JSD本身已经类似于dist ** 2

— AlcubierreDrive

感谢您的精彩解释！只是一个简单的问题。我知道J-散度是对称的J(P,Q) = J(Q,P)。我读到JS散度在P和Q中是对称的。这意味着JS(P,Q) = JS(Q,P)什么？我之所以这样问是因为我正在使用包中的KLdiv函数。对于我的两个分布，KLdiv的矩阵输出不是对称的。我期望JS纠正此问题，但JS（使用KL计算）的输出不是对称的。flexmixR

— 传奇

P

$P$

Q

$Q$