统计人员为什么不使用相互信息来衡量关联？

我看过一些非统计学家的谈话，他们似乎在使用互信息而不是回归（或等效/密切相关的统计检验）来重新发明相关度量。

我认为统计学家不采用这种方法是有充分理由的。我的外行人的理解是，熵/互信息的估计量往往有问题且不稳定。因此，我认为功能也是有问题的：他们声称自己没有使用参数测试框架来尝试解决此问题。通常，这种工作不会影响功效计算，甚至不会影响置信度/可信度区间。

但是，采取恶魔的拥护者立场，当数据集非常大时，慢速收敛是否有那么大的意义呢？同样，有时这些方法似乎在某种意义上是“有效的”，即关联性已通过后续研究验证。反对使用互信息来衡量关联的最佳批评是什么？为什么不将其广泛用于统计实践中？

编辑：此外，是否有涵盖这些问题的好论文？

我认为您应该区分分类（离散）数据和连续数据。

对于连续数据，Pearson相关性测量线性（单调）关系，等级相关性为单调关系。

另一方面，MI“检测”任何关系。这通常不是您感兴趣的内容和/或可能是噪音。特别是，您必须估计分布的密度。但是，由于它是连续的，因此您首先要创建一个直方图[discrete bins]，然后计算MI。但是由于MI允许任何关系，所以MI会随着您使用较小的垃圾箱而发生变化（即，您允许更多的摆动）。因此，您可以看到，MI的估计将非常不稳定，不允许您在估计等值上放置任何置信区间。 MI。

另一方面，分类数据非常适合MI框架（请参阅G检验），在G检验和卡方检验之间没有太多选择。