Questions tagged «shannon-entropy»

引理：假设等式我们有(\x -> ⊥) = ⊥ :: A -> B。 证明：⊥ = (\x -> ⊥ x)通过η等价，并(\x -> ⊥ x) = (\x -> ⊥)通过λ下的减少。 Haskell 2010报告第6.2节seq通过两个方程式指定了该函数： 序列:: a-> b-> b seq⊥b =⊥ seq ab = b，如果a≠⊥ 然后声明“因此，⊥与\ x-> not不同，因为seq可用于区分它们。” 我的问题是，这真的是定义的结果seq吗？ 隐含的说法似乎是seq将不可计算如果seq (\x -> ⊥) b = ⊥。但是我还不能证明这样的seq说法是没有争议的。在我看来，seq这既是单调的，又是连续的，这使它处于可计算的领域。 诸如seq之类的算法可能会通过枚举以starting开头的域来尝试搜索某些x位置f x ≠ ⊥而工作f。尽管这样的实现，即使有可能，一旦我们想要使seq多态成为现实，也会变得非常麻烦。 是否有证据证明不存在可计算seq的是标识(\x …

14 domain-theory  haskell  extensionality  cc.complexity-theory  counting-complexity  fl.formal-languages  automata-theory  cc.complexity-theory  arithmetic-circuits  it.information-theory  shannon-entropy  graph-theory  pr.probability  graph-theory  approximation-algorithms  approximation-hardness  multicommodity-flow  cc.complexity-theory  ds.algorithms  np-hardness  polynomial-time  dynamic-programming  lo.logic  terminology 

我正在寻找两个独立的离散随机变量和的和的熵的界限。当然，但是，将其应用于独立的伯努利随机变量的总和，得出 换句话说，当重复应用时，边界随线性增长。但是，大小为的集合支持，因此其熵最多为。实际上，根据中心极限定理，我猜X Ý ħ （X + Ý ）≤ ħ （X ）+ H ^ （Ý ）（* ）Ñ Ž 1，... ，ž Ñ ħ （ž 1 + ž 2 + ⋯ + Ž Ñ）≤ Ñ H （Z 1）n Z 1 + ⋯ ZH(X+Y)H(X+Y)H(X+Y)XXXYYYH(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)nnnZ1,…,ZnZ1,…,ZnZ_1, \ldots, Z_nH(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 …

12 it.information-theory  shannon-entropy 

通常，香农熵被用来证明信道编码结果。即使对于源通道分离结果，也使用了香农熵。鉴于Shannon（全局）信息与Kolmogorov（局部）信息概念之间的等效性，是否有研究针对这些结果利用Kolmogorov复杂度（或至少在源通道分离结果中替代了源编码部分）？

12 it.information-theory  kolmogorov-complexity  shannon-entropy 

我知道Shannon的熵工作，但是最近我研究了简洁的数据结构，其中经验熵经常用作存储分析的一部分。 香农将离散信息源生成的信息的熵定义为，其中是事件发生的概率，例如生成的特定字符，并且可能的事件。−∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}pipip_iiiikkk 正如MCH在评论中指出的，经验熵是这些事件的经验分布的熵，因此由其中，是事件的观察到的发生次数和是观察到的事件的总数。这称为零阶经验熵。香农的条件熵概念具有类似的高阶经验版本。−∑ki=1ninlognin−∑i=1kninlog⁡nin-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}ninin_{i}iiinnn 香农没有使用“经验熵”这一术语，尽管他确实值得这个概念一些称赞。谁首先使用这个想法，谁首先使用（非常合逻辑的）名称经验熵来描述它？

9 reference-request  shannon-entropy  succinct