熵与信噪比之间的关系

通常，任何形式的灌肠被定义为不确定性或随机性。在嘈杂的环境中，随着噪声的增加，我相信熵会增加，因为我们对所需信号的信息内容更加不确定。熵和信噪比之间有什么关系？随着信噪比的增加，噪声功率降低，但这并不意味着信号的信息含量会增加！！信息内容可能保持不变，这是否意味着熵不受影响？

— 里亚·乔治
source

当您说“信息内容可能保持不变”时，您是指总信号中的信息还是所需信号的信息？希望这能回答这两种情况。我知道香农的熵要比科尔摩哥罗夫好得多，所以我会用它，但是希望逻辑能够转化。

假设是您的总信号（），由所需信号和噪声分量的总和组成。我们叫熵。如您所说，噪声通过增加系统的复杂性而增加了熵。但是，这不仅因为我们对信号的信息内容更加不确定，而且还因为整个信号的不确定性更大。如果SNR样的措施，我们是什么如何某些的，则样的措施如何，我们可以预测未来状态基于当前的状态 $X = S + N$ $X$ $S$ $N$ $H$ $S$ $H(X)$ $X$ $X$ 。熵与整个信号的复杂程度有关，而与噪声与非噪声的成分无关。

如果通过消除噪声（衰减）来提高SNR ，则会降低总信号的复杂度，从而降低其熵。您没有丢失承载的任何信息，仅丢失了承载的（可能毫无意义的）信息。如果是随机噪声，则显然它不携带有意义的信息，但是它需要一定量的信息来描述的状态，该状态由N可以处于的状态数以及它处于每个状态。那就是熵。 $N$ $X$ $S$ $N$ $N$ $N$

我们可以看看两个高斯分布与不同的方差，说一个人的方差，另一个具有的方差。仅查看高斯分布的方程式，我们看到分布的最大概率仅为 distr概率的值的。相反，这意味着 distr将采用除均值以外的其他值的可能性更大，或者更有可能确定分布将采用均值附近的值。因此，分布的熵低于 $1$ $100$ $Var=100$ $\frac {1} {10}$ $var=1$ $Var=100$ $Var=1$ $Var=1$ $Var=100$ 分配。

我们建立了更高的方差意味着更高的熵。从错误传播的角度来看，也确实是（等于独立，）。如果，则对于熵，。由于（间接地）是方差的函数，因此我们可以稍作改动以说。为了简化，我们说和是独立的，所以。SNR的提高通常意味着衰减噪声功率。然后，具有较高SNR的新信号将为，对于 $Var(X+Y) >= Var(X) + Var(Y)$ $X$ $Y$ $X = S + N$ $H$ $H(X) = H(S+N)$ $H$ $H(Var[X]) = H(Var[S+N])$ $S$ $N$ $H(Var[X]) = H(Var[S] + Var[N])$ $X = S + (\frac {1} {k})N$ $k>1$ 。熵然后变为。大于，因此当N衰减时，将减小。如果减小，那么减小，因此减小。 $H(Var[X]) = H(Var[S] + (1/k)^2*Var[N])$ $k$ $1$ $Var[N]$ $Var[N]$ $Var[S+N]$ $Var[X]$ $H(X)$

不太简洁，抱歉。简而言之，如果增加SNR，则的熵会减小，但对的信息却什么也没做。我现在找不到源，但是有一种方法可以相互计算SNR和互信息（类似于熵的双变量度量）。也许主要的收获是SNR和熵不能衡量同一件事。 $X$ $S$

— dpbont
source

谢谢您提供详细信息，如果能为您进行一点点分析提供参考，那真是太好了，因为我需要在论文中提供熵和SNR之间的关系，并因此提供引文。

— Ria George

我的分析是非正式的。它过于依赖直觉/逻辑来主张任何严谨性。我立即看到的弱点是，声称信噪比（SNR）升高等于总方差降低了。如果通过衰减噪声来提高SNR，则此语句成立，但如果您增加信号功率，则不一定（因为这可能会增加信号方差==>总体方差==>熵）。不过，可能还有另一种方法可以得出这个结论。我认为MI和SNR之间的关系来自Schloegl 2010“ BCI研究中的自适应方法-入门教程”

— dpbont 2014年

：很抱歉再次继续启动该线程。当我发现一个模型的熵误差时，我遇到一个问题，其中误差= desirable_signal-estimated_signal。在提高SNR时，我发现误差熵正在增加。但是，当我计算熵所需信号的随着SNR则X的熵减小。您能否对前者的熵熵随SNR的增加而增加一些见解？

X

$X$

— 莱亚·乔治

两个问题。1）当您说信噪比增加时，您是指估算信号的信噪比吗？（我假设是这样。）2）随着错误熵的增加，您的错误发生了什么？一般来说，熵的增加要么意味着可预测性的方差/减小。我可能会设想一种情况，您的误差方差会增加，但您会消除误差偏差（这会增加误差熵，但会减少误差）。

— dpbont

感谢您的及时回复。（1）通过信噪比提高我的意思是增加了测量噪声的SNR在model.So，方程我增加的SNR并测量熵H1（X）和H2 （误差）。（2）误差减小并且所有值变得大致相等但不为零。我计算误差熵的方法如下：考虑AR（2）模型。在接收器端，其中（a1，b1）是猜测参数，而是在的特定SNR下的观测值，即snr1。假设我有5对猜测（a1，b1），并且每对我都会得到误差熵。

X = S + N

$X=S+N$

N

$N$

z (t) = X (t) - (a 1 X (t - 1) + b 1 X (t - 2))

$z(t) = X(t) - (a1X(t-1) + b1X(t-2))$

X (t)

$X(t)$

N

$N$

— 乔治

以下是[1, p. 186]引荐您（OP或Googler）开始的报价：

非常粗略地讲， $\mathcal{H} \approx \text{(number of active components in data)} \times \log \text{SNR}$

这里是信号模型参数的后验分布的负熵。祝好运！ $\mathcal{H}$

[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006

— 玛尼克斯
source