11 我有一个非常基本的疑问。对不起，如果这激怒了很少。我知道相互信息值应大于0，但应小于1吗？它是否受任何上限限制？ 谢谢，阿米特。 information-theory mutual-information — 阿米特 source
18 是的，它确实有上限，但没有上限。 当两方（统计上）共享一位信息时，相互信息（以位为单位）为1。但是，它们可以共享任意大数据。特别是，如果它们共享2位，则为2。 互信息是从上方界定概率分布的信息熵的单方，即。一世（X，Y）≤ 分钟[ H（X），ħ（是）]一世（X，ÿ）≤分[H（X），H（ÿ）] — 皮格特·米格达（Piotr Migdal） source 如果两个方是二元变量，即每个方仅具有两个可能的结果{0,1}，则当P （X ）= 0.5和P （Y ）时，熵H （X ），H （Y ）最大值为1。= 0.5。因此，两个二进制变量的最大互信息为1X，YX，ÿH（X），ħ（是）H（X），H（ÿ）1个1个P（X）= 0.5P（X）=0.5P（是）=0.5P（ÿ）=0.51个1个 — AkseliPalén19年