Questions tagged «it.information-theory»

信息论中的问题

13
用来证明整洁的组合陈述的信息论?
在使用信息论以简单方式证明整洁的组合陈述时,您最喜欢的示例是什么? 一些例子我能想到的都涉及到降低对本地解码的代码,如边界,在此纸:假设为一串二进制字符串的长度的Ñ它认为对于每个我,对于ķ 我不同双{ Ĵ 1,Ĵ 2 },ê 我 = X Ĵ 1 ⊕ X Ĵ 2。那么m在n中至少是指数的,其中指数线性地取决于k的平均比率X1个,。。。,X米x1,...,xmx_1,...,x_mñnn一世iiķ一世kik_iĴ1个,Ĵ2j1,j2j_1,j_2Ë一世= xĴ1个⊕ XĴ2。ei=xj1⊕xj2.e_i = x_{j_1} \oplus x_{j_2}.。ķ一世/米ki/mk_i/m 另一个(相关的)示例是布尔立方体上的等距不等式(请在您的答案中详细说明)。 你有更多好的例子吗?最好简短易懂。

10
Kolmogorov复杂度在计算复杂度中的应用
非正式地说,字符串 Kolmogorov复杂度是输出的最短程序的长度。我们可以使用它定义“随机字符串”的概念(如果,则是随机的),很容易看出,大多数字符串都是随机的(没有那么多短程序)。xxxxxxxxxK(x)≥0.99|x|K(x)≥0.99|x|K(x) \geq 0.99 |x| 如今,Kolmogorov复杂性理论和算法信息论已经相当发达。还有几个有趣的例子,它们在不同定理的证明中使用Kolmogorov复杂度,这些定理的陈述中不包含有关Kolmogorov复杂度的任何东西(构造性LLL,Loomis-Whitney不等式等)。 Kolmogorov复杂度和算法信息论在计算复杂度和相关领域中是否有很好的应用?我认为应该有使用Kolmogorov复杂度作为简单计数参数的直接替代的结果。当然,这不是那么有趣。

3
信息量是多少?
在她的PCAST计算机科学演讲后,Jeannette Wing提出了这个问题。 “从物理学的角度来看,我们可以拥有最大数量的信息吗?”(对于理论计算机科学界来说,这是一个很好的挑战性问题,因为我认为这是“什么是信息?”这个问题) 超越“什么是信息?” 还应该弄清楚在这种情况下“体积”是什么意思?信息的最大密度也许是更好的度量。

5
有效计算的Kolmogorov复杂度变体
Kolmogorov前缀复杂度(即K(x)K(x)K(x)是输出的最小自定界程序的大小xxx)具有几个不错的功能: 这对应于一种直觉,即给具有模式的字符串或结构比不具有模式的字符串降低复杂度。 它允许我们定义条件复杂度K(x|y)K(x|y)K(x|y),甚至可以为某些oracle O定义更好的。K(x|O)K(x|O)K(x|O)OOO 它是子添加剂K(x,y)≤K(x)+K(y)K(x,y)≤K(x)+K(y)K(x,y) \leq K(x) + K(y)。 但是它有一个可怕的缺点:给定x时,返回是无法确定的。K(x)K(x)K(x)xxx 我想知道是否存在使用受限计算模型的Kolmogorov复杂度(通过使用比TM弱的语言或使用资源有界TM)保留特征(1)和(2)(特征( 3)是可有效计算的红利,但不是必须的吗?K′(x)K′(x)K'(x) 这个问题的动机是用于各种进化玩具模型的仿真研究。因此,以前被用作Kolmogorov复杂度在数字工作中的“近似”答案是更可取的。但是,我们的目标不是完全进行实验,因此首选相对简单/简洁的描述语言/计算模型,从而有可能证明一些合理的定理,关于K '与K和什么样的字符串。K′K′K'K′K′K'KKK 相关问题 弱描述语言的Kolmogorov复杂性 对于不确定的问题,是否有一个合理的近似算法概念?

1
良好的代码可以被线性电路解码?
我正在寻找以下类型的错误纠正代码: 恒定速率的二进制代码 可通过实现为大小为的布尔电路的解码器从一定常数的误差中解码,其中是编码长度。NO(N)O(N)O(N)ñNN 一些背景: Spielman用线性时间可编码和可解码的纠错码在对数成本RAM模型中给出了可在时间内解码的代码,也可通过尺寸的电路进行解码。O (N log N )ø (Ñ)O(N)O(N)ø (Ñ日志ñ)O(Nlog⁡N)O(N \log N) Guruswami和Indyk在线性时间可编码/可解码代码中以近乎最佳的速率进行了改进。尽管我相信它也是,但他们没有分析产生的电路复杂度。Θ (N日志ñ)Θ(Nlog⁡N)\Theta(N \log N) 提前致谢!

2
没有大概率字母时,霍夫曼代码的性能如何?
为概率分布的霍夫曼代码是具有最小加权平均码字长度的前缀码,其中是的长度个codword。一个众所周知的定理是霍夫曼码每个符号的平均长度在和,其中是Shannon熵的概率分布。ppp∑piℓi∑piℓi\sum p_i \ell_iℓiℓi\ell_iiiiH(p)H(p)H(p)H(p)+1H(p)+1H(p)+1H(p)=−∑ipilog2piH(p)=−∑ipilog2⁡piH(p) = -\sum_i \, p_i \log_2 p_i 典型的平均长度超过Shannon熵几乎为1的坏例子是概率分布,例如,其中熵接近0,平均码字长度为1。这给出了熵与码字长度之间的差距几乎为。{.999,.001}{.999,.001}\{.999, .001\}111 但是,当概率分布中的最大概率有界时,会发生什么?例如,假设所有概率均小于。在这种情况下,我可以找到的最大差距是概率分布,例如,其中熵略大于1,平均码字长度略小于1.5,从而得出差距接近。这是您能做到的最好的吗?在这种情况下,您能否给间隙的上限严格小于1?1212\frac{1}{2}{.499,.499,.002}{.499,.499,.002}\{.499, .499, .002\}0.50.50.5 现在,让我们考虑所有概率都非常小的情况。假设你选择了一个概率分布的字母,每个都具有概率。在这种情况下,如果选择则会出现最大的间隙。在这里,您得到大约 在所有概率都小的情况下,这是您能做的最好的吗?MMM1/M1/M1/MM≈2kln2M≈2kln⁡2M \approx 2^k \ln 21+lnln2−ln2ln2≈0.08607.1+ln⁡ln⁡2−ln⁡2ln⁡2≈0.08607. \frac{1 + \ln \ln 2 - \ln 2}{\ln 2} \approx 0.08607. 这个问题是受TCS Stackexchange问​​题启发的。

3
钻石规范与相关状态的距离之间是否有任何联系?
在量子信息论中,两个量子通道之间的距离通常使用菱形法则来测量。还有许多方法可以测量两个量子态之间的距离,例如走线距离,保真度等。Jamiołkowski同构提供了量子通道和量子态之间的对偶。 至少对我而言,这很有趣,因为众所周知,钻石规范很难计算,而Jamiołkowski同构似乎暗示着量子通道的距离量度与量子态之间的某些相关性。因此,我的问题是:钻石规范中的距离与关联状态之间的距离(在某种程度上)之间是否存在任何已知关系?

1
查询算法的信息复杂度?
信息复杂度一直是通信复杂性中非常有用的工具,主要用于降低分布式问题的通信复杂性。 信息复杂度是否与查询复杂度类似?查询复杂度和通信复杂度之间有许多相似之处。经常(但并非总是如此!)将一个模型中的下限转换为另一模型中的下限。有时,这种翻译是很平凡的。 是否有信息复杂性的概念对降低问题的查询复杂性有用? 第一遍似乎表明信息复杂性不是很有用;例如,对于随机算法,计算位OR的查询复杂度为Ω (N ),而Ω (√ññNΩ (N)Ω(ñ)\Omega(N)用于量子算法,而对信息复杂性概念的最直接适应表明,任何查询算法所获信息最多为O(logN)(因为该算法在输入中看到第一个1时就停止了)。Ω (N--√)Ω(ñ)\Omega(\sqrt{N})O (对数ñ)Ø(日志⁡ñ)O(\log N)1个1个1

1
布隆过滤器哈希值:更多还是更大?
在实现布隆过滤器时,传统方法需要多个独立的哈希函数。 Kirsch和Mitzenmacher表明您实际上只需要两个,并且可以将其余部分作为线性组合生成。 我的问题是:两个散列函数和一个具有两倍熵的散列函数之间的区别是什么? 这是通过查看您对散列函数的输出实际执行的操作得出的:您将采用(例如)64位散列值并将其缩放为位向量的大小,该值可能明显小于2 64。显然,这是一种失去熵的转换(在极少数情况下,散列大小和过滤器容量完全一致)。假设我的过滤器具有少于2 个32个条目,那是什么使我无法将64位哈希值拆分为两个32位哈希并采用线性组合呢?还是用它来播种PRNG? 换句话说,为确保标准误报率成立,我实际上需要了解多少信息才能插入到Bloom过滤器中?或更笼统地说,我如何区分元素(使用多少位来描述元素)与Bloom过滤器的性能之间有什么关系? 似乎可以将位用于过滤器大小,或者等效地使用位来存储元素的误报概率为 ....2 升(米)2lg⁡(米)2\lg(m)米米m2 (lg(− n lnp)-2LG(ln2 ))2(lg⁡(-ñln⁡p)-2lg⁡(ln⁡2))2(\lg(-n\ln{p}) - 2\lg(\ln2))ññnppp

5
仁义熵的效用?
我们大多数人都熟悉(或至少听说过)随机变量的香农熵H(X)=−E[logp(X)]H(X)=−E[log⁡p(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr],以及所有相关的信息理论量度,例如相对熵,相互信息,等等。在理论计算机科学和信息理论中,还有一些其他的熵度量,例如随机变量的最小熵。 当我浏览文献时,我开始越来越频繁地看到这些所谓的仁义熵。他们概括了香农熵和最小熵,并且实际上提供了随机变量的整个熵度量。我主要从事量子信息领域的研究,在该领域中,人们也经常考虑Renyi熵的量子形式。 我真正不明白的是它们为什么有用。我听说,通常说来,与Shannon / von Neumann熵或min-entropy相比,使用它们进行分析更容易。但是它们也可以与香农熵/最小熵相关。 任何人都可以提供使用Renyi熵何时“正确”的例子(经典或量子)?我正在寻找的是一些“心理挂钩”或“模板”,以了解何时需要使用人一熵。 谢谢!

4
函数的eta等效性是否可以与Haskell的seq操作兼容?
引理:假设等式我们有(\x -> ⊥) = ⊥ :: A -> B。 证明:⊥ = (\x -> ⊥ x)通过η等价,并(\x -> ⊥ x) = (\x -> ⊥)通过λ下的减少。 Haskell 2010报告第6.2节seq通过两个方程式指定了该函数: 序列:: a-> b-> b seq⊥b =⊥ seq ab = b,如果a≠⊥ 然后声明“因此,⊥与\ x-> not不同,因为seq可用于区分它们。” 我的问题是,这真的是定义的结果seq吗? 隐含的说法似乎是seq将不可计算如果seq (\x -> ⊥) b = ⊥。但是我还不能证明这样的seq说法是没有争议的。在我看来,seq这既是单调的,又是连续的,这使它处于可计算的领域。 诸如seq之类的算法可能会通过枚举以starting开头的域来尝试搜索某些x位置f x ≠ ⊥而工作f。尽管这样的实现,即使有可能,一旦我们想要使seq多态成为现实,也会变得非常麻烦。 是否有证据证明不存在可计算seq的是标识(\x …

5
无损压缩数据的限制是多少?(如果有这样的限制)
最近,我一直在处理与压缩有关的算法,我想知道哪种压缩率可以通过无损数据压缩实现。 到目前为止,我在该主题上唯一能找到的资源是维基百科: 对数字化数据(如视频,数字化电影和音频)的无损压缩可保留所有信息,但由于数据的固有熵,其压缩效果几乎不会比1:2更好。 不幸的是,维基百科的文章没有引用或引用来支持这种说法。我不是数据压缩专家,因此,对于您可以提供的有关此主题的任何信息,或者如果您可以向我提供比Wikipedia更可靠的信息来源,我将不胜感激。

5
为什么霍夫曼编码可以消除Lempel-Ziv不能消除的熵?
流行的DEFLATE算法在Lempel-Ziv的顶部使用霍夫曼编码。 通常,如果我们有一个随机的数据源(= 1位熵/位),那么包括霍夫曼在内的任何编码都不可能平均地对其进行压缩。如果Lempel-Ziv是“完美的”(随着长度的增长,它对于大多数类型的信号源都接近无穷大),那么用霍夫曼进行后期编码将无济于事。当然,Lempel-Ziv 并不完美,至少长度有限,因此仍然存在一些冗余。 霍夫曼编码部分地消除了这种剩余的冗余,从而改善了压缩。 我的问题是:为什么通过Huffman编码而不是LZ成功消除了剩余的冗余?霍夫曼与LZ的哪些属性使这种情况发生?再次运行LZ(即第二次使用LZ编码LZ压缩数据)是否会实现类似的效果?如果没有,为什么不呢?同样,首先使用Huffman进行压缩,然后使用LZ进行压缩,如果不能,为什么? 更新: 很明显,即使在LZ之后,也会保留一些冗余。有几个人指出了这一点。尚不清楚的是:为什么霍夫曼要比LZ更好地解决剩余冗余问题?与原始的源冗余(LZ比Huffman更好)相比,它有什么独特之处?


3
关于和的熵
我正在寻找两个独立的离散随机变量和的和的熵的界限。当然,但是,将其应用于独立的伯努利随机变量的总和,得出 换句话说,当重复应用时,边界随线性增长。但是,大小为的集合支持,因此其熵最多为。实际上,根据中心极限定理,我猜X Ý ħ (X + Ý )≤ ħ (X )+ H ^ (Ý )(* )Ñ Ž 1,... ,ž Ñ ħ (ž 1 + ž 2 + ⋯ + Ž Ñ)≤ Ñ H (Z 1)n Z 1 + ⋯ ZH(X+Y)H(X+Y)H(X+Y)XXXYYYH(X+Y)≤H(X)+H(Y) (∗)H(X+Y)≤H(X)+H(Y) (∗)H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)nnnZ1,…,ZnZ1,…,ZnZ_1, \ldots, Z_nH(Z1+Z2+⋯+Zn)≤nH(Z1)H(Z1+Z2+⋯+Zn)≤nH(Z1) H(Z_1 …

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.