给定均值和标准差的正连续变量的最大熵概率密度函数是多少？

13

什么是最大熵分布对于正连续变量，鉴于其第一和第二的时刻？

例如，高斯分布是给定变量的均值和标准差的最大熵分布，伽马分布是给定变量的均值和对数的平均值的正变量的最大熵分布。

— 别科
source

13

您可能只是使用Boltzmann定理，即您所指向的Wikipedia文章中的定理。

请注意，指定均值和方差等效于指定前两个原始矩-分别确定另一个矩（实际上并不一定要调用此矩，因为我们可以将定理直接应用于均值和方差，因此这种方法要简单一些））。

然后，该定理确定密度必须为以下形式：

f (x) = c \exp (λ_{1} x + λ_{2} x^{2}) for all x \geq 0

$f(x)=c \exp\left(\lambda_1 x + \lambda_2 x^2 \right)\quad \mbox{ for all } x \geq 0$

正实线的可积性会将限制为，我认为对 s 之间的关系设置了一些限制（当从指定的均值和方差而不是原始时刻开始时，可能会自动满足这些关系））。 $\lambda_2$ $\leq 0$ $\lambda$

令我惊讶的是（由于开始这个答案时我不会期望它），这似乎使我们的正态分布被截断了。

碰巧的是，我认为我以前没有使用过该定理，因此欢迎对我未曾考虑或遗漏的任何事物提出批评或有用的建议。

— Glen_b-恢复莫妮卡
source

+1谢谢。似乎还好。当我阅读Wikipedia文章时，我似乎错过了玻耳兹曼定理适用于所有封闭区间的事实。我以为它仅适用于从到变量。

- \infty

$-\infty$

\infty

$\infty$

— becko 2014年

由于某种原因，统一的基本量度以及由此产生的截断正态分布无法完全说服我：正如Fred Freder Schoen所强调的那样，要在连续情况下找到最大（相对）熵，我们需要一个基本量度或参考概率分布。由于所讨论的连续变量是正数，因此它可以是比例变量，并且由于各种原因（例如组不变性；请参阅Jaynes的书或Jeffreys的书），与成正比的基本度量会推荐自己。

x

$x$

1 / x

$1/x$

— pglpm

使用此基本度量，所得的分布与成比例，但不幸的是它是不可归一化的（尽管它仍然可以用作不正确的先验值，）。给定所讨论变量的正性，可能值得考虑将其对数矩作为信息载体和最大熵约束是否更有意义。它们将导致类似伽玛的最大熵分布。

\frac{1}{x} \exp (- α x - β x^{2})

$\frac{1}{x}\exp(-\alpha x- \beta x^2)$

— pglpm

7

我想让@Glen_b的答案更明确，这是一个额外的答案，只是因为它不适合作为注释。

Jaynes的书的第11章和第12章很好地解释了形式主义等。以均匀分布为基础，@ Glen_b已经说过，一般解是高斯对于无界变量，您可以根据约束值（维基百科文章中的）显式求解拉格朗日乘数和。使用，您将得到，因此标准高斯。

f (x) \propto N (x | - 1 / 2 λ_{1} / λ_{2}, - 1 / (2 λ_{2}))

$f(x) \propto \mathcal{N}(x | -1/2 \lambda_1/\lambda_2, -1/(2\lambda_2))$

λ_{1}

$\lambda_1$

λ_{2}

$\lambda_2$

a_{1}, a_{2}

$a_1, a_2$

a_{1} = μ, a_{2} = μ^{2} + σ^{2}

$a_1=\mu, a_2=\mu^2 + \sigma^2$

λ_{1} = μ / σ^{2}, λ_{2} = - 0.5 σ^{2}

$\lambda_1=\mu/\sigma^2, \lambda_2=-0.5 \sigma^2$

N (x | μ, σ^{2})

$\mathcal{N}(x|\mu, \sigma^2)$

对于有界变量，由于计算分区函数时出现错误函数项（维基百科中为），我（和mathematica）不再能够明确地求解。这意味着截断的高斯参数和不是您开始使用的连续变量的均值和方差。对于，甚至可能发生高斯模式为负的情况！当然，当您将时，所有数字都再次一致。 $x>x_{min}$ $\lambda_{1,2}$ $1/c$ $\mu$ $\sigma^2$ $x_{min}=0$ $x_{min} \to -\infty$

如果您具有具体值，您仍然可以用数字方式求解并将解决方案插入到通用方程式中就可以完成！来自无界情况的的值可能是数值求解器的一个很好的起点。 $a_1, a_2$ $\lambda_{1,2}$ $\lambda_{1,2}$

这个问题是/math/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0的重复

— 弗雷德·斯科恩（Fred Schoen）
source