测量两个多元分布之间的“距离”

我正在寻找一些好的术语来描述我正在尝试做的事情，以使查找资源变得更加容易。

因此，假设我有两个点A和B的群集，每个群集与两个值X和Y相关联，并且我想测量A和B之间的“距离”，即从同一分布中对它们进行采样的可能性有多大（我可以假设分布是正态的）。例如，如果X和Y在A中相关，而在B中不相关，则分布是不同的。

凭直觉，我将得到A的协方差矩阵，然后看一下B中每个点适合在那里的可能性，反之亦然（可能使用马氏距离之类的方法）。

但这有点“临时”，可能有一种更为严格的描述方式（当然，在实践中，我有两个以上的数据集和两个以上的变量-我正在尝试确定我的哪个数据集是离群值）。

谢谢！

还有Kullback-Leibler散度，它与您在上面提到的Hellinger距离有关。

嗯，Bhattacharyya距离似乎是我想要的，尽管Hellinger距离也可以。

启发式

• 明可夫斯基形式
• 加权均方差（WMV）

非参数检验统计

• 2（卡方）
• 柯尔莫哥洛夫-史密诺夫（KS）
• 克莱默/冯·米塞斯（CvM）

信息理论分歧

• 库尔贝克-利勃勒（KL）
• 詹森-香农散度（公制）
• 杰弗里散度（数值稳定和对称）

地面距离测量

• 直方图交集
• 二次形式（QF）
• 推土机距离（EMD）

最完整的调查在2006年查普曼厅（Chapman Hall）的Complutense大学的Leandro Pardo的《基于发散度量的统计推断》中提供。

“统计差异”的更多措施

• 置换测试（由Fisher进行）
• 中心极限定理和Slutsky定理
• 曼-惠特尼-威尔科辛检验
• 安德森–达令测试
• 夏皮罗·威尔克测试
• Hosmer–Lemeshow测试
• 柯伊伯氏测验
• 核斯坦因差异
• Jaccard相似度
• 同样，层次聚类处理组之间的相似性度量。组相似度最流行的度量可能是单链接，完全链接和平均链接。