对于已知的平均绝对偏差,哪种分布具有最大熵?


10

我正在阅读Hacker News上有关标准偏差而不是平均绝对偏差等其他指标的使用的讨论。那么,如果我们遵循最大熵的原理,如果仅知道分布的均值和平均绝对偏差,我们将使用哪种分布?

还是使用中位数和与中位数的平均绝对偏差更有意义?

我发现Grechuk,Molyboha和Zabarankin撰写了一篇论文《具有最大偏差量度的最大熵原理》,该文章似乎掌握了我所好奇的信息,但是花了我一段时间才能对其进行解密。


有趣的问题;欢迎进行交叉验证!
— Nick Stauner 2014年

Answers:


13

这些明智的先生们, Kotz,S.,Kozubowski,TJ,和Podgorski,K.(2001)。拉普拉斯分布与归纳:对通讯,经济学,工程学和金融学的应用的重新审视(第183号)。施普林格。

通过练习来挑战我们:

在此处输入图片说明

f(x)g(x)

Eg(|X−c1|)=∫g(x)|x−c1|dx=c2=∫f(x)|x−c1|dx=Ef(|X−c1|)[1]

0≤DKL(g||f)=∫g(x)ln⁡(g(x)f(x))dx=∫g(x)ln⁡g(x)dx−∫g(x)ln⁡f(x)dx[2]

g−h(g)

∫g(x)ln⁡[f(x)]dx=∫g(x)ln⁡[12c2exp⁡{−1c2|x−c1|}]dx
=ln⁡[12c2]∫g(x)dx−1c2∫g(x)|x−c1|dx
[1]

∫g(x)ln⁡[f(x)]dx=−ln⁡[2c2]−1c2∫f(x)|x−c1|dx=−(ln⁡[2c2]+1)
−h(f)

[2]

0≤D(g||f)=−h(g)−(−h(f))⇒h(g)≤h(f)
g

如此简单的分发,以及出色的编写!我怀疑分布将除了在0光滑
— 迪特里希·埃普

谢谢。有时“相同” —因为拉普拉斯分布涉及绝对值,所以这是主要的怀疑。
— Alecos Papadopoulos 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.