微分熵是否总是小于无穷大？

对于任意连续的随机变量，例如，其微分熵是否始终小于？（这是确定如果它是）。如果不是，有什么必要和充分条件，它是小于？ $X$ $\infty$ $-\infty$ $\infty$

entropy information-theory maximum-entropy

— syeh_106
source

您是否尝试过任何示例？同样，均匀分布在长度为

？

L

$L$

— Piotr Migdal

实际上，均匀分布（在任何有限间隔上）的微分熵总是有限的，即log（L），因此是有界的。实际上，我可以确定2类连续分布，它们的熵总是有界的-（1）支持在有限区间内的任何分布，以及（2）第2矩是有限的任何分布。前者受均匀分布的限制；而后者则受高斯分布的限制。

— syeh_106

实际上，我还可以构造一个具有无限二阶矩且仍具有有限熵的分布。例如，考虑f（x）= 3 /（x ^ 2），x> 3。显然，E [X ^ 2]是无限的，但是h（X）〜= -3.1 nats。但是，我无法确认对于任意连续随机变量而言是否正确，或者无法提出反例来反驳它。如果有人可以显示此内容，我将非常感谢。

— syeh_106

谢谢您的评论和链接，Piotr。顺便说一句，我还检查了我的课程材料之一，并发现了完全相同的离散随机变量示例，其中包含无数的无限支持。因此，构造一个连续的类似物并不困难。因此，第一个问题的答案是显而易见的。我将在下面针对可能有相同问题的其他人进行总结。顺便说一句，我需要在上面的第二条评论中进行更正，具体来说，对于f（x）= 3 /（x ^ 2），h（X）应该为正，即3.1 nats。

— syeh_106

这个问题和答案是模棱两可的，因为它们没有说明要在哪个集合上应用范围。如果

是RV，则它具有一个熵周期。如果它是一个“任意”的连续RV，那么（显然）不可能有上限。您打算对

施加什么约束？从评论和您的答案看来，您可能想修复

的支持- 也许不是？也许您想将

限制为在特定时刻具有给定范围的那些变量？也许您希望

属于参数族-也许不是？请编辑此问题以澄清。

X

$X$

X

$X$

X

$X$

X

$X$

X

$X$

— ub

我也考虑了这个问题，并设法找到了一个反例，这也要归功于Piotr的上述评论。第一个问题的答案是否定的-连续随机变量（RV）的微分熵并不总是小于。例如，考虑一个连续的RV X，其pdf为 $\infty$ 为。

f (x) = \frac{\log (2)}{x \log (x)^{2}}

$f(x) = \frac{\log(2)}{x \log(x)^2}$

x > 2

$x > 2$

不难证明其微分熵是无限的。尽管它增长得很慢（大约是对数）。

对于第二个问题，我不知道有一个简单的必要条件和充分条件。然而，一个部分答案如下。根据其支持，将连续RV分为以下3种类型之一，即

类型1：连续RV，其支持范围是有界的，即包含在[a，b]中。
2类型：连续RV，其支撑被半界，即包含于[A，）或（，α] 类型3：连续的RV，其支撑是无界的。 $\infty$ $-\infty$

然后我们有以下内容-

对于1型RV，其熵始终无条件地小于。对于类型2 RV，如果其平均值（）是有限的，则其熵小于。对于类型3 RV，其熵小于，如果它的方差（）是有限的。 $\infty$
$\infty$ $\mu$
$\infty$ $\sigma^2$

类型1 RV的微分熵是小于相应的均匀分布，即，该指数分布，即，类型2 RV，和类型3 RV，即高斯分布的类型，即 $log(b-a)$ $1+log(|\mu-a|)$ 。 $\frac{1}{2} log(2{\pi}e\sigma^2)$

请注意，对于2型或3型RV，上述条件只是一个充分条件。例如，考虑类型2 RV，其中表示。显然，其均值是无限的，但其熵为3.1 nat。或者考虑3型RV

f (x) = \frac{3}{x^{2}}

$f(x) = \frac{3}{x^2}$

x > 3

$x > 3$

为

。它的方差是无限的，但其熵为2.6 nat。因此，如果有人可以为此部分提供完整或更优雅的答案，那就太好了。

f (x) = \frac{9}{| x |^{3}}

$f(x) = \frac{9}{|x|^3}$

| x | > 3

$|x| > 3$

— syeh_106
source

⟨ x^{α} ⟩

$\langle x^\alpha \rangle$

α > 0

$\alpha>0$

皮奥特（Piotr）感谢您提供有关SE政策的建议。（是的，我显然是新来的。）关于导致有界熵的有限时刻，您愿意分享您的证明吗？谢谢！

— syeh_106

@PiotrMigdal我计划在最后添加内容后将这个问题的答案保留在当前状态。出于上述Piotr的评论，我考虑了有限均值是否导致有限熵。总的来说，我无法得出结论。我确实发现，如果RV的支持是有限的，那是真的。请参阅上面的修改后的答案。我期待有一天会有更好的答案。

— syeh_106

“不难证明其微分熵是无限的。” 你能证明如何验证吗？对于黎曼积分来说似乎是正确的，但是相对于Lebesgue测度而言，微分熵是正确的。我无法验证相应的Lebesgue积分不收敛。

— cantorhead

X

$X$

E [X]

$\mathrm{E}[X]$

H (X) = \log (4 π)

$H(X)=\log(4\pi)$