Questions tagged «shannon-entropy»

4
函数的eta等效性是否可以与Haskell的seq操作兼容?
引理:假设等式我们有(\x -> ⊥) = ⊥ :: A -> B。 证明:⊥ = (\x -> ⊥ x)通过η等价,并(\x -> ⊥ x) = (\x -> ⊥)通过λ下的减少。 Haskell 2010报告第6.2节seq通过两个方程式指定了该函数: 序列:: a-> b-> b seq⊥b =⊥ seq ab = b,如果a≠⊥ 然后声明“因此,⊥与\ x-> not不同,因为seq可用于区分它们。” 我的问题是,这真的是定义的结果seq吗? 隐含的说法似乎是seq将不可计算如果seq (\x -> ⊥) b = ⊥。但是我还不能证明这样的seq说法是没有争议的。在我看来,seq这既是单调的,又是连续的,这使它处于可计算的领域。 诸如seq之类的算法可能会通过枚举以starting开头的域来尝试搜索某些x位置f x ≠ ⊥而工作f。尽管这样的实现,即使有可能,一旦我们想要使seq多态成为现实,也会变得非常麻烦。 是否有证据证明不存在可计算seq的是标识(\x …

3
关于和的熵
我正在寻找两个独立的离散随机变量和的和的熵的界限。当然,但是,将其应用于独立的伯努利随机变量的总和,得出 换句话说,当重复应用时,边界随线性增长。但是,大小为的集合支持,因此其熵最多为。实际上,根据中心极限定理,我猜X Ý ħ (X + Ý )≤ ħ (X )+ H ^ (Ý )(* )Ñ Ž 1,... ,ž Ñ ħ (ž 1 + ž 2 + ⋯ + Ž Ñ)≤ Ñ H (Z 1)n Z 1 + ⋯ ZH(X+Y)H(X+Y)H(X+Y)XXXYYYH(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)nnnZ1,…,ZnZ1,…,ZnZ_1, \ldots, Z_nH(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 …


1
谁创造了“经验熵”一词?
我知道Shannon的熵工作,但是最近我研究了简洁的数据结构,其中经验熵经常用作存储分析的一部分。 香农将离散信息源生成的信息的熵定义为,其中是事件发生的概率,例如生成的特定字符,并且可能的事件。−∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}pipip_iiiikkk 正如MCH在评论中指出的,经验熵是这些事件的经验分布的熵,因此由其中,是事件的观察到的发生次数和是观察到的事件的总数。这称为零阶经验熵。香农的条件熵概念具有类似的高阶经验版本。−∑ki=1ninlognin−∑i=1kninlog⁡nin-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}ninin_{i}iiinnn 香农没有使用“经验熵”这一术语,尽管他确实值得这个概念一些称赞。谁首先使用这个想法,谁首先使用(非常合逻辑的)名称经验熵来描述它?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.