熵告诉我们什么？
我正在阅读有关熵的信息，并且在概念上很难理解连续情况下的含义。Wiki页面指出以下内容： 事件的概率分布与每个事件的信息量一起形成一个随机变量，其期望值为该分布生成的平均信息量或熵。 因此，如果我计算出与连续概率分布相关的熵，那到底能告诉我什么？他们给出了一个有关抛硬币的例子，所以是离散情况，但是如果有一种直观的方式来解释一个连续的例子，那就太好了！ 如果有帮助，则连续随机变量的熵定义如下：XXX H(X)=−∫P(x)logbP(x)dxH(X)=−∫P(x)logbP(x)dxH(X)=-\int P(x)\log_b P(x)dx where P(x)P(x)P(x) is a probability distribution function. To try and make this more concrete, consider the case of X∼Gamma(α,β)X∼Gamma(α,β)X\sim \text{Gamma}(\alpha,\beta), then, according to Wikipedia, the entropy is H(X)=E[−ln(P(X))]=E[−αln(β)+ln(Γ(α))+ln(Γ(α))−(α−1)ln(X)+βX]=α−ln(β)+ln(Γ(α))+(1−α)(ddαln(Γ(α)))H(X)=E[−ln(P(X))]=E[−αln(β)+ln(Γ(α))+ln(Γ(α))−(α−1)ln(X)+βX]=α−ln(β)+ln(Γ(α))+(1−α)(ddαln(Γ(α)))\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align} And so now we have calculated the entropy for a …