互信息矩阵的特征向量是什么意思？

当查看协方差矩阵的特征向量时，我们得到最大方差的方向（第一个特征向量是数据变化最大的方向，等等）；这称为主成分分析（PCA）。

我想知道查看互信息矩阵的特征向量/值是什么意思，它们会指向最大熵的方向吗？

虽然这不是直接答案（因为它是关于逐点互信息的问题），但请查看将word2vec与奇异值分解相关的论文 PMI矩阵：

• O. Levy，Y。Goldberg，神经词嵌入作为隐式矩阵分解

我们分析了由Mikolov等人引入的单词嵌入方法-负采样（SGNS）的跳过语法，并表明它隐式分解了一个词上下文矩阵，该矩阵的单元格是各自的点向互信息（PMI）单词和上下文对，以全局常量移位。我们发现，另一种嵌入方法NCE正在隐式分解相似的矩阵，其中每个单元格是给定其上下文的单词的（移位）对数条件概率。我们表明，使用稀疏平移正PMI词上下文矩阵表示词可以改善两个词相似性任务和两个类比任务之一的结果。当首选密集的低维向量时，使用SVD进行精确分解可以实现的解决方案至少与SGNS的词相似性任务解决方案一样好。在类比问题上，SGNS仍然优于SVD。我们推测这是由于SGNS分解的加权性质。