相互信息与相关性

为什么以及何时应该在统计相关性度量（例如“皮尔森”，“长矛手”或“肯德尔的头”）上使用互惠信息？

让我们考虑一个（线性）相关性的基本概念，即协方差（即Pearson的相关系数“未标准化”）。对于具有概率质量函数p （x ），p （y ）和联合pmf p （x ，y ）的两个离散随机变量和Y，我们有$X$$Y$$p(x)$$p(y)$$p(x,y)$

$$\operatorname{Cov}(X,Y) = E(XY) - E(X)E(Y) = \sum_{x,y}p(x,y)xy - \left(\sum_xp(x)x\right)\cdot \left(\sum_yp(y)y\right)$$

$$\Rightarrow \operatorname{Cov}(X,Y) = \sum_{x,y}\left[p(x,y)-p(x)p(y)\right]xy$$

两者之间的相互信息定义为

$$I(X,Y) = E\left (\ln \frac{p(x,y)}{p(x)p(y)}\right)=\sum_{x,y}p(x,y)\left[\ln p(x,y)-\ln p(x)p(y)\right]$$

比较两者：每个都包含“两个rv的距离与独立性的距离”的逐点“度量”，因为它由关节pmf与边际pmf的乘积之间的距离表示：它具有水平差异，而I （X ，Y ）具有对数差异。 $\operatorname{Cov}(X,Y)$$I(X,Y)$

这些措施有什么作用？在它们创建两个随机变量乘积的加权和。在I （X ，Y ）中，它们创建其联合概率的加权和。$\operatorname{Cov}(X,Y)$$I(X,Y)$

因此，对于我们研究了非独立性对其乘积的影响，而在I （X ，Y ）中，我们研究了非独立性对其联合概率分布的影响。 $\operatorname{Cov}(X,Y)$$I(X,Y)$

相反，是距离独立性的对数度量的平均值，而Cov （X ，Y ）是距离独立性的水平度量的加权值，由两个rv的乘积加权。$I(X,Y)$$\operatorname{Cov}(X,Y)$

因此，这两个不是对立的，而是互补的，描述了两个随机变量之间关联的不同方面。人们可能会说互助信息“不关心”关联是否为线性关系，而协方差可能为零，并且变量仍可能是随机相关的。另一方面，可以直接从数据样本计算协方差，而无需实际知道所涉及的概率分布（因为它是一个涉及分布矩的表达式），而互信息则需要知道分布，如果有，则估计与协方差估计相比，未知数是一项更为微妙和不确定的工作。

互信息是两个概率分布之间的距离。相关性是两个随机变量之间的线性距离。

在为一组符号定义的任何两个概率之间，您可以具有相互信息，而在不能自然映射到R ^ N空间的符号之间，则不能具有相关性。

另一方面，互信息不会对变量的某些属性进行假设。如果您使用的是平滑变量，则相关性可能会告诉您更多有关变量的信息。例如，如果他们的关系是单调的。

如果您有一些先验信息，则可以从一个切换到另一个。在病历中，您可以将符号“具有基因型A”映射为1，将“不具有基因型A”映射为0和1值，并查看其是否与某种疾病或另一种疾病相关。同样，您可以采用一个连续的变量（例如：薪水），将其转换为离散的类别，然后计算这些类别与另一组符号之间的相互信息。

这是一个例子。

在这两个图中，相关系数为零。但是，即使相关系数为零，我们也可以获得较高的共享共有信息。

在第一个图中，我看到如果我有一个高或低的X值，那么我很可能会得到一个高的Y值。但是，如果X的值适中，那么我的Y值就会低。包含有关X和Y共享的相互信息的信息。在第二个图中，X告诉我关于Y的任何信息。

尽管它们都是度量特征之间关系的一种方法，但MI比相关系数（CE）更笼统，因为CE仅能够考虑线性关系，但MI也可以处理非线性关系。