距离相关与互信息

我已经使用共同信息一段时间了。但是我发现“关联世界”中有一个非常新的度量，也可以用来度量分布独立性，即所谓的“距离相关”（也称为布朗相关）：http : //en.wikipedia.org/wiki/Brownian_covariance。我检查了引入此措施的论文，但没有发现对相互信息的任何暗示。

因此，我的问题是：

他们解决完全相同的问题吗？如果不是，那么这些问题有何不同？
并且，如果可以肯定地回答上一个问题，那么使用一个或另一个有什么好处？

correlation mutual-information distance-covariance

— 设计
source

举一个简单的例子，尝试明确写下“距离相关性”和“相互信息”。在第二种情况下，您将获得对数，而在第一种情况下-将不会。

— Piotr Migdal

@PiotrMigdal是的，我知道这种区别。您能解释一下为什么重要吗？请考虑到我不是统计学家……

— dsign 2012年

对于马来说，衡量概率分布相互依存关系的标准工具是互信息。它具有很多不错的属性，其解释也很简单。但是，可能存在一些特定的问题，其中首选距离相关（但我一生中从未使用过）。那么，您要解决的问题是什么？

— Piotr Migdal

这则评论晚了几年，但哥伦比亚大学的统计系将2013-2014学年定为关注依赖程度的一年。2014年4月至5月，举行了一个研讨会，汇集了在该领域工作的顶尖学者，包括Reshef兄弟（MIC），Gabor Szekely（距离相关），Subhadeep Mukhopadhay等。这是该程序的链接，其中包括演示文稿中的许多pdf。 dependence2013.wikischolars.columbia.edu/...

— 迈克·亨特

信息/互信息不取决于可能的值，而仅取决于概率，因此它不太敏感。距离相关功能更强大且更易于计算。进行比较，请参见

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf

— gabor J Szekely
source

嗨，谢谢您的回答！您所指的论文是关于MIC的，我相信它比MI还要多。我已经实现了距离相关性度量，对于离散类别变量的基本情况，我认为它不比MI更简单。再说一遍，我了解到的一件事是，DCM对于连续变量定义良好且行为良好，但是对于MI，您需要进行装箱或花哨的操作，例如MIC。

— dsign 2012年

但是，DCM似乎需要方为样本数的平方矩阵。换句话说，空间复杂度按平方缩放。或者至少那是我的印象，我想犯一个错误。MIC更好，因为您可以在精度和性能之间进行某种折衷的调整。

— dsign 2012年