Questions tagged «it.information-theory»

信息论中的问题

1
超立方体上卷积的熵
说，我们有一个功能，使得Σ X ∈ Ž Ñ 2 ˚F （X ）2 = 1（所以我们可以想到的{ ˚F （X ）2 } X ∈ Ž Ñ 2作为分布） 。很自然地限定这样的功能的熵如下： H ^ （˚F ）= - Σ X ∈ Ž Ñ 2 ˚F （Xf:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R}∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1{f(x)2}x∈Zn2{f(x)2}x∈Z2n\{ f(x)^2\} _{x\in \mathbb{Z}_2^n}H(f)=−∑x∈Zn2f(x)2log(f(x)2).H(f)=−∑x∈Z2nf(x)2log⁡(f(x)2).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x)^2 …
1
区分
给定一个从一组混合态中随机选择的量子态，正确识别的最大平均概率是多少？ρ一种ρ一种\rho_AññNρ1个。。。ρñρ1个。。。ρñ\rho_1 ... \rho_N一种一种A 通过考虑将与区分的问题，可以将该问题转变为两个状态的可区分性问题。ρ一种ρ一种\rho_Aρ乙= 1ñ− 1∑我≠ Aρ一世ρ乙=1个ñ-1个∑一世≠一种ρ一世\rho_{B} = \frac{1}{N-1}\sum_{i\neq A}\rho_i 我知道对于两个量子状态，当您最小化最大错误概率而不是最小化平均错误概率时，就状态之间的迹线距离而言，问题有一个很好的解决方案，我希望对于这个案例。当然可以根据POVM的优化来写出概率，但是我希望已经进行了优化的东西。 我知道有大量关于量子态可区分性的文献，过去几天我一直在阅读大量论文，试图找到这个问题的答案，但是我很难找到答案。问题的特殊变化。我希望有人知道文学更好，可以为我节省一些时间。 严格来说，我不需要确切的概率，一个好的上限就可以了。但是，任何一个状态与最大混合状态之间的差异都非常小，因此在该限制内边界必须有用。
1
一个简单的（？）有趣的组合问题！
让我们固定和整数。t > 00<E<10<E<100 对于任何nnn和任何向量c¯∈[0,1]nc¯∈[0,1]n\bar{c} \in [0,1]^n，使得∑i∈[n]ci≥E×n∑i∈[n]ci≥E×n\sum_{i\in [n]} c_i \geq E \times n Ac¯:=|{S⊆[n]:∑i∈S ci≥E×t}|≥(E×nt)Ac¯:=|{S⊆[n]:∑i∈S ci≥E×t}|≥(E×nt)A_{\bar{c}} :=|\{ S \subseteq [n] : \sum_{i \in S}~ c_i \geq E \times t \}| \geq \binom{ E \times n}{ t } 我不知道这种说法是否正确。我认为是真的 我的直觉来自于这样的观察：对于向量c¯∈{0,1}nc¯∈{0,1}n\bar{c} \in \{0,1\}^n（具有关于和的期望属性），我们有Ac¯=(E×nt)Ac¯=(E×nt)A_{\bar{c}}= \binom{ E \times n}{t} ; 在这种情况下，我们只能从\ {i〜|〜c_i = 1 \}中选择子集{i …
4
计算复杂度与信息之间的关系
我在计算神经科学实验室工作，该实验室量化了成对或成组神经元之间的相互信息。最近，老板把重点转移到测量“神经动力学的复杂性”上。在进行这一研究时，我们小组中的某些人似乎将“复杂”等同于“具有高熵”。 有人可以指导我了解信息论意义上的计算复杂度（在CS方面）与熵之间的关系吗？ 进一步说明一下，在我看来，像Lempel-Ziv复杂度这样的度量似乎并不是有效的复杂度度量，因为它们将信息量（对用户）与携带大量数据混为一谈。诸如此类的其他措施[Causal State Splitting Reconstruction][1]鲜为人知，但具有吸引人的特性，即随机过程的零复杂度，因为需要零隐藏状态来表示平稳的随机过程。
1
算法信息论还在发展吗？
我目前正在寻找一篇论文的主题，并且遇到了算法信息论领域。这个领域对我来说似乎很有趣，但是似乎所有的事情都是在多年之前完成的。 所以我的问题是：该字段是“活动的”还是几乎封闭的？是否有未解决的问题？ 谢谢
2
与Fano不等式相反吗？
Fano的不等式可以用多种形式表示，其中一个特别有用的原因是Oded Regev（稍作修改）： 令为随机变量，令Y = g （X ）其中g （⋅ ）为随机过程。假设存在一个过程f，给定y = g （x ）可以以概率p重建x。然后 我（X ; Ý ）≥ p ħ （X ）- H ^ （p ）XXXÿ= 克（X）Y=g(X)Y = g(X)G（⋅ ）g(⋅)g(\cdot)Fffÿ= 克（x ）y=g(x)y = g(x)Xxxppp一世（X; ÿ）≥ p ħ（X）- 高（p ）I(X;Y)≥pH(X)−H(p) I(X; Y) \ge pH(X) − H(p) 换句话说，如果我可以重构，那么系统中会有很多相互信息。 法诺的不平等是否存在“反面”：某种形式 “给出一个具有足够互信息的通道，有一个过程可以从输出中重建输入，而误差取决于互信息” 期望这个过程也将是高效的，这实在太多了，但是，看到（自然的）重建存在但必定效率低下的例子也将很有趣。
2
子集编号
修复。对于足够大的，我们想用正整数标记大小为的的所有子集。我们希望该标签满足以下属性：有一组整数，stk≥5k≥5k\ge5nnn{1..n}{1..n}\{1..n\}n/kn/kn/k{1...T}{1...T}\{1...T\}SSS 如果大小为个子集不相交（即这些集合的并集形成所有集合），则它们的标签之和在。kkkn/kn/kn/k{1..n}{1..n}\{1..n\}SSS 否则，它们的标签之和不在。SSS 是否存在和标签st？k≥5k≥5k\ge5T⋅|S|=O(1.99n)T⋅|S|=O(1.99n)T\cdot|S|=O(1.99^n) 例如，对于任何我们可以按以下方式标记子集。 ，每个子集具有在他们的比特数：第一比特等于且仅当子集包含，第二位等于且仅当子集包含等可以很容易地看到，仅包含一个元素。但是这里。我们可以做得更好吗？kkkT=2nT=2nT=2^nnnn111111111222SSS2n−12n−12^n-1T⋅|S|=Θ(2n)T⋅|S|=Θ(2n)T\cdot|S|=\Theta(2^n)
1
确定最少的硬币称量
在关于信息理论的两个问题中，Erdõs和Rényi给出了确定一组硬币中虚假硬币的数量必须执行的最小称量数量的下限。ññn 更正式地： 假硬币的重量小于正确硬币的重量。正确硬币和错误硬币的权重和b &lt; a是已知的。给出一个秤，通过它可以称量≤n 个硬币。因此，如果我们选择硬币的任意子集并将它们放在秤上，则秤会向我们显示这些硬币的总重量，从中可以轻松计算出称重的伪硬币的数量。问题是，最小的数量A （n ）称量可以用来区分正确和错误的硬币？一个一个ab &lt; ab&lt;一个b < a≤ ñ≤ñ\leq nA （n ）一个（ñ）A(n) 他们最初提供的简单下限是： 。n / 日志2（Ñ + 1 ）ñ/日志2⁡（ñ+1个）n / \log_2 (n + 1) 不难理解为什么要通过各种信息理论或组合论证。问题是如何构建这样的集合来进行这些称重？是否有算法利用建设性的证明来实现这些下限而又不依赖于随机性？是否有实现这些界限的随机算法？
4
网络编码调查
我想开始学习网络编码： http://en.wikipedia.org/wiki/Network_coding 您是否知道关于上述主题的任何良好调查（例如，来自IEEE调查和指南）。我在Google上找到了一些大学课程，但我希望得到已经阅读并知道好的参考资料的人的一些建议。 谢谢瓦西里斯
1
Lovasz theta函数和正则图（特别是奇数周期）-与光谱理论的联系
帖子与以下内容相关：https : //mathoverflow.net/questions/59631/lovasz-theta-function-and-independence-number-of-product-of-simple-odd-cycles Lovasz距正则图的零误差能力有多远？是否有已知的Lovasz界不等于正则图的零误差能力的示例？（下面是Oleksandr Bondarenko的回答。） 特别是对于大于或等于的边的奇数循环，是否存在严格的不等式？777 更新 在频谱理论上需要进行哪些改进以改善Lovasz theta函数，以便可以减小存在缺口的情况下Shannon容量和Lovasz Theta之间的差距？（请注意，我仅从光谱角度关注）
3
信息理论是否可以推广到多项式可知信息？
我很抱歉，这是一个“软”问题。 信息论没有计算复杂性的概念。例如，SAT实例或SAT实例加上表示可满足性的位携带相同数量的信息。 有没有办法使“多项式可知”的概念形式化？ 这样的框架可以将例如随机变量X相对Y之间的多项式KL散度的概念定义为在给定Y的情况下在多项式时间内计算X所需的位数。 同样，可以将随机变量X的熵定义为以可以在多项式时间内解码的方式对X进行编码所需的位数。 是否研究过这样的概括？可以使其一致吗？
2
多次尝试猜测低熵值
假设Alice 在有限（但可能非常大）的域上具有分布，使得的（香农）熵由任意小的常数上限。爱丽丝从得出一个值，然后让Bob（知道）猜出。μμ\muμμ\muεε\varepsilonxxxμμ\muμμ\muxxx Bob的成功几率是多少？如果只允许他一个猜测，则可以按如下方式将该概率下界：熵将最小熵上界，因此存在一个元素的概率至少为。如果Bob选择此元素作为其猜测，则他的成功概率将为。2−ε2−ε2^{-\varepsilon}2−ε2−ε2^{-\varepsilon} 现在，假设鲍勃被允许做出多个猜测，比如说猜测，如果他的一个猜测是正确的，则鲍勃获胜。有没有可以提高鲍勃成功概率的猜测方案？特别是，是否有可能表明Bob的故障概率随呈指数下降？tttttt
2
没有低概率坐标的高概率事件
让 XXX 是一个随机变量，值取 ΣnΣn\Sigma^n （对于一些大字母 ΣΣ\Sigma），它具有很高的熵-例如， H(X)≥(n−δ)⋅log|Σ|H(X)≥(n−δ)⋅log⁡|Σ|H(X) \ge (n- \delta)\cdot\log|\Sigma| 对于一个任意小的常数 δδ\delta。让E⊆Supp(X)E⊆Supp(X)E \subseteq \rm{Supp}(X) 在…的支持下成为一个事件 XXX 这样 Pr[X∈E]≥1−εPr[X∈E]≥1−ε\Pr[X \in E] \ge 1 - \varepsilon，其中是任意小的常数。εε\varepsilon 我们说，一对是一个低概率坐标的如果。我们说一个字符串含有的低概率坐标如果是一个低概率的坐标一些。(i,σ)(i,σ)(i,\sigma)EEEPr[X∈E|Xi=σ]≤εPr[X∈E|Xi=σ]≤ε\Pr[X \in E | X_i = \sigma] \le \varepsilonx∈Σnx∈Σnx \in \Sigma^n EEE(i,xi)(i,xi)(i, x_i)EEEiii 一般情况下，在某些字符串可能含有的低概率坐标。现在的问题是，我们总能找到一个大概率事件使得没有字符串包含的概率很低坐标（而不是）。EEEEEEE′⊆EE′⊆EE' \subseteq EE′E′E'E′E′E'EEE 谢谢！
1
噪声分布的熵
说我们有一个功能 f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R} 这样 ∀x∈Zn2f(x)∈{12n,22n,…,2n2n},∀x∈Z2nf(x)∈{12n,22n,…,2n2n},\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\}, 和 fff 是一个分布，即 ∑x∈Zn2f(x)=1∑x∈Z2nf(x)=1\sum_{x\in \mathbb{Z}_2^n} f(x) = 1。 的香农熵 fff 定义如下： H(f)=−∑x∈Zn2f(x)log(f(x)).H(f)=−∑x∈Z2nf(x)log⁡(f(x)).H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) . 让 ϵϵ\epsilon保持不变。说我们得到一个ϵϵ\epsilon-嘈杂的版本 f(x)f(x)f(x)，即我们得到一个函数 f~:Zn2→Rf~:Z2n→R\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R} 这样 |f~(x)−f(x)|&lt;ϵ|f~(x)−f(x)|&lt;ϵ|\tilde{f}(x)- f(x) | < …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.