算法信息论中“信息”与“有用信息”的区别

从算法信息理论的角度来看，非正式地，字符串的信息内容等于该字符串的最短自包含表示形式的长度。

“有用信息”的类似非正式严格定义是什么？为什么“有用信息”不被视为更自然或更基本的概念；天真地看似纯粹的随机字符串必须定义为包含零信息，因此我试图避免被标准定义认为具有最大信息的事实。

information-theory terminology kolmogorov-complexity

— 用户1247
source

欢迎！请注意，您可以将用户名更改为更容易被普通访问者识别的名称。

— 拉斐尔

Answers:

这里的中心概念是Kolmogorov的复杂性，尤其是可压缩性。为了得到压缩的直观的感觉，可以考虑两个字符串和，其中。让 $A \in \mathbb{B}^*$ $B \in \mathbb{B}^*$ $\mathbb{B} = \{ 0,1 \}$

，和 $A = 1010$ $1010$ $1010$ $1010$

。 $B = 1011$ $0110$ $0111$ $1001$

需要注意的是。我们如何量化或有多少信息？如果我们考虑经典信息理论，通常，传输长度为的字符串平均需要位。但是，我们无法说出传输长度为的特定字符串需要多少位。 $|A| = |B| = 16$ $A$ $B$ $n$ $n$ $n$

为什么随机字符串的信息内容不为零？

仔细观察，我们可以发现实际上。但是，很难说是否在结构上有任何明显的模式，至少它看起来和感觉比更随机。因为我们可以在找到一个模式，所以我们可以轻松地压缩并用少于位来表示它。同样，由于检测任何模式都不容易，因此我们无法对其进行太多压缩。因此，可以说比具有更多的信息。此外，长度为的随机字符串 $A = 10^8$ $B$ $A$ $A$ $A$ $16$ $B$ $B$ $A$ $n$ 具有最大的信息，因为我们无法对其进行压缩，因此只能用少于位表示它。 $n$

那么有用的信息是什么？

对于有用的信息，是的，使用图灵机进行定义。在有用信息是 $T$ $x \in \mathbb{B}^*$

min_{T} {l (T) + C (x | T) : T \in {T_{0}, T_{1}, . . .}},

$\min_T \space \{\space l(T) + C(x|T) : T \in \{ T_0, T_1, ... \} \},$

其中，表示图灵机的自限制编码的长度。符号通常是使得表示的Kolmogorov复杂和的条件Kolmogorov复杂给出。 $l(T)$ $T$ $C(x)$ $x$ $C(x|y)$ $x$ $y$

这里包含的有用信息的数量。我们要问的是，在满足要求的那些中选择哪个问题是要分离的最短程序成零件 ST 表示适当。实际上，这就是产生最小描述长度（MDL）的想法。 $T$ $x$ $T$ $x^*$ $x^* = pq$ $p$ $T$

— Juho
source

可能是因为很难定义“有用”。假设我们有一个高度结构化，信息丰富的消息，该消息最多可以压缩为消息的倍。直观地讲，和包含相同数量的有用信息。实际上，根据通常的定义，它们包含的信息量相同。现在想象前缀的相同的长度的 ; 它所包含的有用信息应不超过，因此，不应超过。但是，比更“随机” ，因为 $x$ $\alpha$ $y$ $x$ $y$ $z$ $x$ $y$ $x$ $y$ $y$ $z$ $z$ 可以压缩而不能压缩。因此，如果我们尝试将“有用的”信息与可压缩性相关联，则会遇到以下悖论：消息的前缀可能比整个消息具有更高的“有用”信息，这似乎是矛盾的。 $y$

— 帕特里克87
source

可能很难定义，也可能无法像“信息”那样简单地依赖于可压缩性，但这似乎是更重要的定义！就目前而言，“信息”似乎是“ Kolmogorov复杂性”的别名，而不是认真地定义通常意义上的信息，而在其他情况下，根据定义，信息必须是有用的！这是一个活跃的研究领域吗？有什么建议的定义吗？

— user1247'1

@ user1247为什么您认为Kolmogorov的复杂性不那么严重？

— Juho 2012年

@mrm我认为它是一个非常严肃且有趣的概念，但我不称其为“信息”。完全随机的字符串包含信息是什么意思？例如，在讨论现实世界中的信息（其中“有用的”是隐含的）时，例如在有关传输或接收的信息的哲学或量子力学讨论中，“有用的信息”似乎更适用和有趣。

— user1247'1

@ user1247解释我的答案的一种可能有趣的方式是：根据信息的解释方式，信息仅是有用或无用的。对于固定的解释，一条消息可能比另一条消息具有更多或更少的有用信息。在我看来，任何有用信息的理论都需要考虑到这种解释（诸如熵之类的常规度量也可以做到这一点，尽管是隐含的）。

— Patrick87

@ Patrick87我绝对同意“有用信息”的任何良好理论都应考虑到解密机制。这就是使它成为一个有趣的问题的原因！如果您给我发送了一点字符串，并且原则上我不能解密它，则应将其定义为不包含任何有用信息。

— user1247'4

从不太正式的角度来看，如果您脱离“随机”一词，我认为这可能会有所帮助，因为您正确地认为一组真正的随机位在实际意义上不会存储任何信息。（如果我对一组名称进行加密并将加密后的值发送给您，则它们可能具有很高的Kolmogorov复杂度，但这不会帮助您找出名称）。

但是以这种方式考虑一下。如果您看到的是外语网站（例如瑞典语，假设您不会说），那么它将看起来或多或少是随机的。单词会有一定顺序，但数量不多。但是，如果您查看的网页的文本看起来像这样：123456123456123456123456 ...等，则可以更快地理解它。如果您不会说瑞典语，即使瑞典语网页上说的是“按顺序重复的前六个数字”，您也可能会受益匪浅。这些网站包含相同的信息，但对您而言却是随机的。而且对于空间量，即使您存储的是相同的信息，您所了解的空间也比瑞典网页的效率要低得多。您可能找不到此信息“有用”，因为它

“信息”的概念是通用的，因此看起来像随机的（因此无用的）位可能会向他人存储大量信息。信息量度旨在作为字符串的固有属性，并且不能取决于对您有意义和不有意义的内容以及您可以解释和不能解释的内容。

另一个可能会有所帮助的（技术性的）观点是，我在这里有点不屑一顾。正如Juho所指出的，信息是相对于谁的解释来定义。您可能会发现瑞典文网页作为信息传播工具完全没有用，但是说瑞典语的人可能会发现它包含大量信息。该定义确实反映了这一点。但是，从数学中我们可以了解到，与您交流此网站的最短（最有用的信息）网页与可以与讲瑞典语的人进行交流的最短网页之间的区别仅在于加常数。为什么？因为对于您来说，作为非瑞典语使用者，存储您可以理解的页面的最简单方法是“按顺序重复的前六个整数”。这可能比瑞典人长很多。

但是，即使您会说瑞典语，也只能从长度上减去加法常数！为什么？因为您总是可以购买瑞典语-英语词典。这样一来，超短的瑞典语网页便对您有意义。当然，只有当您拥有字典时，它们才有意义，但是字典的长度是恒定的。因此，

(Most efficient representation of information in English) \leq (Most efficient representation in Swedish) + (Length of Swedish-English dictionary)

$(\mbox{Most efficient representation of information in English}) \leq (\mbox{Most efficient representation in Swedish}) + (\mbox{Length of Swedish-English dictionary})$ 。这与您最初提出的问题有点偏离主题，但是我想说明的是，谁在阅读信息并不重要。外观随机的瑞典语网页对您“无用”，但对其他人“无用”，因此，您只是一个固定的信息量，而无法自己使用它。

— 山姆
source