很好地介绍了各种熵

18

我正在寻找一本书或在线资源，以解释不同种类的熵，例如样本熵和香农熵以及它们的优缺点。有人可以指出我正确的方向吗？

references entropy

— 基督教
source

9

Cover和Thomas的书《信息论元素》是有关熵及其应用的一个很好的资料，尽管我不知道它确切地解决了您所考虑的问题。

— 马克·梅克斯
source

4

此外，Dembo Cover和Thomas撰写的论文《信息理论不平等》也揭示了许多深层次的内容

— 罗宾吉拉德

1

但是，这些书都没有声称存在不止一个熵。

5

O. Johnson撰写的这些关于信息论的讲义很好地介绍了各种熵。

— 阿列克
source

4

如果您对围绕熵的数学统计感兴趣，可以查阅本书

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

它是免费提供的！

— 罗宾吉拉德
source

2

熵只是一个概念（描述一个系统所需的信息量）。它只有很多概括。样本熵只是心率分析中使用的类似熵的描述符。

我知道，但是这并不能帮助我决定使用样本熵还是香农熵或某种其他熵来处理我正在处理的数据。

— 克里斯蒂安

2

我在帖子中写道，对于某种类型的数据/过程/系统，只有一个真正的熵定义。样本熵不是熵的度量，它只是一些带有混淆名称的统计信息。提出一个问题，在何处定义要为其计算熵的数据，并将获得公式。

我对真相不感兴趣，但对获得一个有效的功能不感兴趣。我是一名生物信息学家，被教导不要寻求教条式的真理，而要寻求有用的统计数据。我不认为我想使用哪种数据来完成具体工作，而熵是最有效的方法。这就是为什么我要使用数据的原因。

— 克里斯蒂安

2

是的，但这不是关于教义真理的讨论，而是关于词语的讨论。您已经问过熵，所以我回答了熵。因为现在我看到您确实需要有关时间序列描述符的答案，请编写有关时间序列描述符的问题，只有这样，您才能获得有用的答案。

2

杰恩斯（Jaynes）在他的书中展示了如何从基本原理推导香农的熵。

$n!$ $n^n$

\frac{1个}{ñ} 日志 \frac{ñ ！}{（ ñ p_{1个} ） ！ \dots （ ñ p_{d} ） ！}

$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$

$d$ $p$

— 雅罗斯拉夫·布拉托夫（Yaroslav Bulatov）
source

1

n^{n}

$n^n$

n!

$n!$

\log (n!) \sim n \log n - n + O (1)

$\log(n!) \sim n \log n - n + O(1)$

n

$n$

p_{1} + \dots + p_{d} = 1

$p_1 + \cdots+ p_d = 1$

2

Grünwald和Dawid的论文博弈论，最大熵，最小差异和鲁棒贝叶斯决策理论讨论了传统熵概念的概括。给定损失，其关联的熵函数是从分布到该分布的最小可实现预期损失的映射。通常的熵函数是与对数损失相关的广义熵。损失的其他选择会产生不同的熵，例如Rényi熵。

— 马克·里德
source

1

那么，sigma是与平方误差相对应的N（0，sigma）的熵，而min（p，1-p）是与0.1预测损失相对应的Bernoulli（p）的熵吗？似乎很笼统！

— Yaroslav Bulatov

是。平方损失的熵是恒定的，0-1损失的熵是min（p，1-p）。有趣的是，它们也与差异有很强的对应关系。Hellinger散度的平方损失和变异散度的0-1损失。由于熵的定义是这样的，它们必然是凹函数，因此证明了使用f（p）= -entropy（p）建立的f-散度。鲍勃·威廉姆森（Bob Williamson）和我在我们的论文中做了一些探讨：arxiv.org/abs/0901.0356。这很有趣。

— Mark Reid 2010年

1

我最近发现了一些有关分歧的有趣现象-信仰传播的每个步骤都可以看作是布雷格曼投影ece.drexel.edu/walsh/Walsh_TIT_10.pdf

— Yaroslav