Questions tagged «succinct»

3
使用Kolmogorov复杂度作为输入“大小”
假设我们有一个计算问题,例如3-SAT,它具有一组问题实例(可能的输入)。通常,在分析算法或计算复杂性理论时,我们有一些集合 ,所有长度为输入,以及一个函数,该函数给出某些求解算法在输入上的运行时间。那么 ,的最坏情况运行时间序列为SSSI(n)={w∈S:|w|=n}I(n)={w∈S:|w|=n}I(n) = \{w \in S : |w| = n\}nnnT(w)T(w)T(w)AAAwwwAAAfn=maxw∈I(n)T(w).fn=maxw∈I(n)T(w). f_n = \max_{w \in I(n)} T(w). 现在让我们定义 具有Kolmogorov复杂度n的所有输入的集合 I ^ K(n)= \ {w \ in S:K(w)= n \},让我们定义序列 f ^ K_n = \ frac {1 } {\ left | I ^ K(n)\ right |} \ sum_ {w \ in …

1
谁创造了“经验熵”一词?
我知道Shannon的熵工作,但是最近我研究了简洁的数据结构,其中经验熵经常用作存储分析的一部分。 香农将离散信息源生成的信息的熵定义为,其中是事件发生的概率,例如生成的特定字符,并且可能的事件。−∑ki=1pilogpi−∑i=1kpilog⁡pi-\sum_{i=1}^k p_i \log{p_i}pipip_iiiikkk 正如MCH在评论中指出的,经验熵是这些事件的经验分布的熵,因此由其中,是事件的观察到的发生次数和是观察到的事件的总数。这称为零阶经验熵。香农的条件熵概念具有类似的高阶经验版本。−∑ki=1ninlognin−∑i=1kninlog⁡nin-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}ninin_{i}iiinnn 香农没有使用“经验熵”这一术语,尽管他确实值得这个概念一些称赞。谁首先使用这个想法,谁首先使用(非常合逻辑的)名称经验熵来描述它?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.