使用Kolmogorov复杂度的信道编码结果

通常，香农熵被用来证明信道编码结果。即使对于源通道分离结果，也使用了香农熵。鉴于Shannon（全局）信息与Kolmogorov（局部）信息概念之间的等效性，是否有研究针对这些结果利用Kolmogorov复杂度（或至少在源通道分离结果中替代了源编码部分）？

对于信道容量，似乎很难用Kolmogorov复杂度代替Shannon熵。信道容量的定义不包含任何熵。使用香农熵可以给出正确的信道容量公式（这是香农定理）。如果您用具有Kolmogorov复杂度的公式将公式替换为Shannon熵，那么该公式可能是不同的公式，因此答案是错误的。

如果要通过容量为的通道发送的Kolmogorov复杂度为的字符串仅使用比通道使用的稍多的字符串，这非常容易。查找生成字符串的图灵机的描述。然后，使用纠错码对其进行编码，以便可以以很小的错误概率通过嘈杂的信道发送此描述。$K$$C$$K/C$

源通道分离定理的难点在于，您不能做的比先压缩然后编码的明显方法（在上一段中描述）要好。我不知道是否有人针对Kolmogorov的复杂性和渠道容量证明了这一点，但这是一个合理的研究问题。

当您对Shannon的熵和Kolmogorov的复杂度使用局部/全局限定词时，我不确定您在说什么。

如果我错了，那就纠正我。

香农的熵是可计算的。Kolmogorov的复杂性不是。因此，它们没有描述相同的问题。

您可以将香农的熵视为科尔莫格罗夫复杂性的上限。