信息理论是否可以推广到多项式可知信息？

我很抱歉，这是一个“软”问题。

信息论没有计算复杂性的概念。例如，SAT实例或SAT实例加上表示可满足性的位携带相同数量的信息。

有没有办法使“多项式可知”的概念形式化？

这样的框架可以将例如随机变量X相对Y之间的多项式KL散度的概念定义为在给定Y的情况下在多项式时间内计算X所需的位数。

同样，可以将随机变量X的熵定义为以可以在多项式时间内解码的方式对X进行编码所需的位数。

是否研究过这样的概括？可以使其一致吗？

是。有时限的Kolmogorov复杂度至少是这样一种“概括”（尽管严格地说，它不是概括，而是一个相关的概念）。修复通用图灵机$U$。的$t(n)$限时的弦的Kolmogorov复杂度 $x$ 给一个字符串 $y$ （关系到 $U$），表示为 $K^t_U(x | y)$ （下标 $U$ 通常被禁止）定义为最短的字符串 $p$ （“ $U$）这样 $U(p,y)=x$ 并且这样的计算 $U(p,y)$ 最多需要 $t(|x|)$时间。如果以此作为“条件信息”的定义，那么同样可以定义信息论中的所有常用概念。

但是，在这种有时间限制的环境中，并不是所有信息理论的通常定理都成立。例如，已知信息对称性适用于通常的Kolmogorov复杂度（无时间限制），但不适用于有时间限制。参见例如Troy Lee论文的第6章。

如果您担心这适用于字符串而不是分布，我建议阅读以下论文，这些论文实际上表明，字符串的Kolmogorov复杂度与分布的Shannon熵密切相关：

• Grunwald和Vitanyi。Shannon信息和Kolmogorov的复杂性

• 锤子，罗mashchenko，沉，Vereshchagin。Shannon熵和Kolmogorov复杂度的不等式。

（另一方面，已知有些属性无法在两者之间共享，请参见Muchnik和Vereshchagin，香农熵与Kolmogorov复杂度。）

一个问题是，我们在信息论中惯用的许多定理不在计算领域中成立。因此，即使我们将熵的计算模拟形式化，结果理论也可能不再像信息论那样。

例如，如果 $f$ 是确定性函数，那么 $H(f(X)) \le H(X)$。但是，对于任何可能的熵计算概念，将不再成立：例如，考虑一个伪随机数生成器，它将一个短种子扩展为一个长的伪随机数输出。通过我可以想象的任何计算熵的定义，长伪随机输出将具有较大的计算熵（在计算上与那些长字符串上的均匀分布没有区别），从而违反了$H(f(X)) \le H(X)$。

我不了解信息理论计算模型，但是信息理论在计算复杂性方面有明确的应用。

例如经典 $n \log n$基于比较的排序的下限基于关于决策树的高度的信息理论论据，该决策树的高度需要区分所有可能的输入顺序。您可以类似地对搜索，顺序统计，平均值等的计算复杂度进行微不足道的信息理论界限。

更典型地，信息理论结果可以作为计算复杂度的下限。例如，Yao关于通信复杂性{1}的“信息理论”结果意味着确定两个集合是否相等时的计算下限。通信复杂性的更复杂的应用为图灵机{2}提供了时空折衷。

{1}姚，Andrew Chi-Chih。“一些与分布式计算有关的复杂性问题（初步报告）。” 第十一届ACM年度计算理论研讨会论文集。ACM，1979年。

{2} Eyal Kushilevitz：沟通复杂性。Advances in Computers 44：331-360（1997）。