互信息作为概率

莫非在联合熵的互信息：

0 \leq \frac{I (X, Y)}{H (X, Y)} \leq 1

$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$

被定义为：“将一条信息从X传递到Y的概率”？

我很天真，对不起，但是我从未学习过信息理论，我只是在试图理解其中的一些概念。

information-theory mutual-information

— 卢卡·玛吉
source

欢迎来到简历，luca maggi！多么可爱的第一个问题！

— 亚历克西斯

Answers:

您描述的度量称为信息质量比率 [IQR]（Wijaya，Sarno和Zulaika，2017年）。IQR是互信息 $I(X,Y)$ 除以“总不确定性”（联合熵） $H(X,Y)$ （图像来源：Wijaya，Sarno和Zulaika，2017年）。

如Wijaya，Sarno和Zulaika（2017）所述，

IQR的范围为 $[0,1]$ 。如果DWT可以完美地重建信号而不丢失信息，则可以达到最大值（IQR = 1）。否则，最小值（IQR = 0）表示MWT与原始信号不兼容。换句话说，具有特定MWT的重构信号无法保留基本信息，并且与原始信号特性完全不同。

您可以将其解释为信号将被完美重建而不会丢失信息的概率。注意，这种解释更接近于概率的主观主义解释，然后接近传统的频繁主义解释。

这是发生二进制事件的概率（重构信息与否），其中IQR = 1表示我们认为重构的信息值得信赖，而IQR = 0则表示相反。它共享二进制事件概率的所有属性。此外，熵还具有许多其他具有概率的性质（例如，条件熵的定义，独立性等）。因此，它看起来像是一个概率和怪癖。

Wijaya，DR，Sarno，R.＆Zulaika，E.（2017年）。信息质量比作为一种新的选择子波的指标。化学计量学和智能实验室系统，160，59-71。

— 蒂姆
source

A \subset Ω

$A\subset\Omega$

I (X^{'}, Y^{'})

$I(X',Y')$

H (X^{'}, Y^{'})

$H(X',Y')$

X^{'} := X I (A), Y^{'} := Y I (A)

$X':=XI(A),\, Y':=YI(A)$

I

$I$

好吧，我的问题是针对您的部分答案，而不是一个独立的问题。您是否建议我打开一个新问题并链接并将其定向到您的答案？

— 汉斯，

I (X, Y)

$I(X, Y)$

H (X, Y)

$H(X, Y)$

(Ω, F)

$(\Omega, \mathscr{F})$

X

$X$

Y

$Y$

X

$X$

Y

$Y$

@Hans我明确指出这与公理是一致的，但是很难说这到底是什么概率。我建议的解释可能是重构信号。这不是X或Y的概率分布。我想您可以更深入地解释和理解它。问题是，这是否可以解释为概率，而答案是形式上肯定的。

— 蒂姆

$(\Omega,\mathscr F,P,X,Y)$ $\Theta:=(\Omega,\mathscr F,P,X,Y)$ $\tilde\Omega$ $\Theta$ $\tilde\Omega$ $\text{IQR}(\Omega,\mathscr F,P,X,Y)$

$[0,1]$ $\Theta$ $\tilde\Omega:=\{a,b\}$ $\tilde{\mathscr F}:=2^{\tilde\Omega}$ $\tilde P(a):=\text{IQR}(\Theta)$ $\Theta$

— 汉斯
source

(x_{i}, y_{i})

$(x_i, y_i)$

Θ := (Ω, F, P, X, Y)

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

如果最后使用带有S型激活函数的复杂神经网络，情况也是如此，是否可以证明输出是度量理论上的概率？但是，我们经常选择将其解释为概率。

— 蒂姆

[0, 1]

$[0,1]$

A

$A$

P (A) := μ (f (A))

$P(A):=\mu(f(A))$

μ

$\mu$

R

$R$

f

$f$

抱歉，但是我从来没有发现这种讨论和度量理论很有趣，因此我将退出进一步的讨论。我在这里也看不到你的意思，尤其是因为你的最后一段似乎完全是从乞讨中说出的话。

— 蒂姆