Questions tagged «information-theory»

在工作中，我的任务是推断一些有关动态语言的类型信息。我将语句序列重写为嵌套let表达式，如下所示： return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x then { T; Z } else { F; Z } 由于我从一般类型信息开始，并试图推断出更具体的类型，因此自然的选择是精简类型。例如，条件运算符返回其真假分支类型的并集。在简单的情况下，它效果很好。 但是，在尝试推断以下类型时遇到了障碍： function …

11 programming-languages  logic  type-theory  type-inference  machine-learning  data-mining  clustering  order-theory  reference-request  information-theory  entropy  algorithms  algorithm-analysis  space-complexity  lower-bounds  formal-languages  computability  formal-grammars  context-free  parsing  complexity-theory  time-complexity  terminology  turing-machines  nondeterminism  programming-languages  semantics  operational-semantics  complexity-theory  time-complexity  complexity-theory  reference-request  turing-machines  machine-models  simulation  graphs  probability-theory  data-structures  terminology  distributed-systems  hash-tables  history  terminology  programming-languages  meta-programming  terminology  formal-grammars  compilers  algorithms  search-algorithms  formal-languages  regular-languages  complexity-theory  satisfiability  sat-solvers  factoring  algorithms  randomized-algorithms  streaming-algorithm  in-place  algorithms  numerical-analysis  regular-languages  automata  finite-automata  regular-expressions  algorithms  data-structures  efficiency  coding-theory  algorithms  graph-theory  reference-request  education  books  formal-languages  context-free  proof-techniques  algorithms  graph-theory  greedy-algorithms  matroids  complexity-theory  graph-theory  np-complete  intuition  complexity-theory  np-complete  traveling-salesman  algorithms  graphs  probabilistic-algorithms  weighted-graphs  data-structures  time-complexity  priority-queues  computability  turing-machines  automata  pushdown-automata  algorithms  graphs  binary-trees  algorithms  algorithm-analysis  spanning-trees  terminology  asymptotics  landau-notation  algorithms  graph-theory  network-flow  terminology  computability  undecidability  rice-theorem  algorithms  data-structures  computational-geometry 

在试图理解霍夫曼编码，算术编码和范围编码之间的关系时，我开始想到霍夫曼编码的缺点与分数位打包问题有关。 也就是说，假设一个符号有240个可能的值，并且需要将其编码为位，即使您不需要“全” 8，因为每个符号8个位都可以表示256个可能的值，因此每个符号将被卡住8位每个符号。解决这个问题的方法就是我所说的“小数位压缩”，在这种情况下，您可以使用乘法以2的非幂次幂进行“移位”。就像2的幂的乘积是移位的x * 2 == x << 1，x * 4 == x << 2等等对于2的所有幂一样，所以您也可以通过乘以非2的幂来“移位”，然后打包成小数位大小的符号。 问题与霍夫曼编码类似：您最终得到的代码长度必须是非小数位大小的，因此这种打包效率很低。但是，您不能只使用fracitonal-bit-packing解决方案，因为该解决方案假定使用固定大小的符号。 问题是，是否有任何论文或解决方案可对霍夫曼编码进行改进，其思想与小数位打包相似，可实现类似于算术编码的功能？（或任何相反的结果）。

11 information-theory  data-compression  coding-theory  entropy  huffman-coding 

在编码理论中，“代码的质量”是指可以纠正或更好地纠正代码可以处理的最大噪声水平的信道错误数量。 为了获得更好的代码，这些代码是使用大字母（而不是二进制字母）设计的。然后，如果该代码可以处理大量错误的“符号”，则该代码是好的。 为什么不考虑作弊呢？我的意思是，我们不应该只在乎将每个符号“转换”为二进制字符串时会发生什么吗？“位错误率”与“符号错误”率不同。例如，如果使用足够大的字母，则误码率不能超过1/2，而如果我理解正确的话，则符号误码率可以升至。这是因为我们人为地限制了通道只能更改“符号”而不是位，还是因为代码实际上更好？1 − ϵ1个-ϵ1-\epsilon

10 information-theory  coding-theory 

问题是证明或反对，st，的存在。 ; ; 。（代表汉明距离）CCC|c|=6,∀c∈C|C|=6，∀C∈C|c| = 6,\forall c\in C|C|=32|C|=32|C| = 32d(ci,cj)≥2,1≤i&lt;j≤32d（C一世，CĴ）≥2，1个≤一世&lt;Ĵ≤32d(c_i,c_j)\geq2,1\leq i<j\leq32ddd 我试图构造一个令人满意的代码。我能得到的最好结果是让（的串联，其大小为恰好是该大小的理论上限，现在我不知道不知道下一步该怎么做才能解决问题。C=C′×C′C=C′×C′C = C'\times C'C′={000,011,110,101}C′={000，011，110，101}C' = \{000,011,110,101\}

9 information-theory  coding-theory  encoding-scheme 

由于树必须完整，因此要求无前缀编码要求会导致树大。是否存在一个阈值，使得固定长度的非编码数据存储比编码数据更有效？

9 information-theory  data-compression