微分熵

高斯RV的微分熵是。这取决于标准偏差σ。$\log_2(\sigma \sqrt{2\pi e})$$\sigma$

如果我们对随机变量进行归一化，使其具有单位方差，则其微分熵下降。对我来说，这是违反直觉的，因为与熵的减少相比，归一化常数的Kolmogorov复杂度应该很小。可以简单地设计一种编码器解码器，该编码器解码器将归一化常数除以/乘以恢复由该随机变量生成的任何数据集。

我的理解可能不正确。你能指出我的缺点吗？

我会去做的，尽管它有点超出我的头了，所以撒些盐...

你没错 我认为您的思想实验失败的地方在于微分熵不是熵的极限情况。我猜正是因为这个原因，它与Kolmogorov复杂性之间的相似之处消失了。

$X$$x_i$

$$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$$

$X$$p()$

$$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$$ $\delta x$$x_i$ $$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$$

$\delta x \rightarrow dx$

$$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$$

$\log \big( dx \big)$

$\sigma$

$\delta$

$$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$$ $q(X)$$X$$p(X)$$q(X)$