熵如何取决于位置和尺度？

密度函数为f的连续分布的熵定义为log （f ）期望值的负值，因此等于$f$$\log(f),$

$$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$$

我们还说，任何分布具有密度f的随机变量$X$都有熵H f。 （即使f为零，该积分也是明确定义的，因为在这样的值下log （f （x （））f （x ）可以等于零。）$f$$H_f.$$f$$\log(f(x))f(x)$

当$X$和$Y$是$Y = X+\mu$（$\mu$为常数）的随机变量时，$Y$被称为是$X$ 移位$\mu.$ 类似地，当$Y = X\sigma$（$\sigma$是正的常数），$Y$被说成是一个版本$X$ 缩放由$\sigma.$组合秤与换档给出$Y=X\sigma + \mu.$

这些关系经常发生。例如，更改$X$的度量单位将对其进行缩放和缩放。

如何的熵$Y = X\sigma + \mu$涉及于的$X?$

因为概率元素$X$是$f(x)\mathrm{d}x,$变量的变化$y = x\sigma + \mu$等同于$x = (y-\mu)/\sigma,$从那里

$$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

因此，$Y$的密度为

$$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$$

因此，$Y$的熵为

$$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$$

其在改变可变回$x = (y-\mu)/\sigma,$产生

$$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$$

$f(x)\mathrm{d}x$

结论是

$Y = X\sigma + \mu$$X$$\log(\sigma).$

$\sigma \ge 1$$\log(\sigma).$

---

$\mu$$\sigma$$(\mu,\sigma)$$\mu=0$$\sigma=1.$

$$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$$

何处

$$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$$

$(\mu,\sigma)$$\log\sigma$

$$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$$

据维基百科报道。