Akinator.com和朴素贝叶斯分类器

上下文：我是一名程序员，在单门课程的统计方面有一些（被遗忘的）经验。最近，我偶然发现了http://akinator.com，并花了一些时间尝试使其失败。谁不是？:)

我决定找出它是如何工作的。在查阅并阅读了相关的博客文章并将一些（有限的）知识添加到结果组合中之后，我想到了以下模型（我确定我会使用错误的符号，请不要为此而杀了我）：

有主题（S）和问题（Q）。预测器的目的是在给定的问题和答案的情况下，选择具有最大后验概率成为用户正在考虑的主题的主题S。

让游戏G为一系列问题和给出的答案：。$\{q_1, a_1\}, \{q_2, a_2\} ... \{q_n, a_n\}$

然后，预测变量正在寻找。$P(S|G) = \frac{P(G|S) * P(S)}{P(G)}$

主题的先验值（$P(S)$）可以是猜测主题的次数除以游戏总数。

假设所有答案都是独立的，给定游戏G，我们可以计算出主题S的可能性，如下所示：

$P(G|S) = \prod_{i=1..n} P(\{q_i, a_i\} | S)$

如果我们跟踪当使用了给定主题时给出了哪些问题和答案，我们可以计算：$P(\{q_i, a_i\} | S)$

$P({q, a} | S) = \frac{answer\ a\ was\ given\ to\ question\ q\ in\ the\ game\ when\ S\ was\ the\ subject}{number\ of\ times\ q\ was\ asked\ in\ the\ games\ involving\ S}$

现在，定义了主题的概率分布，当我们需要选择下一个问题时，我们必须选择一个其分布的熵的预期变化最大的问题：$P(S|G)$

$argmax_j (H[P(S|G)] - \sum_{a=yes,no,maybe...} H[P(S|G \vee \{q_j, a\})]$

我试图实现这一点，并且可以正常工作。但是，很明显，作为主体的数量上升，性能会降低，因为需要重新计算在每次移动后，计算更新的分布为问题选择。$P(S|G)$$P(S|G \vee \{q_j, a\})$

我怀疑我只是选择了错误的模型，而受我知识的限制。或者，也许是数学上有错误。请启发我：我应该使自己熟悉什么，或者如何更改预测变量，以便它可以应对数百万个主题和数千个问题？

该游戏类似于http://20q.net上的20个问题，创作者报告该问题基于神经网络。这是构造这种网络的一种方法，类似于概念描述向量和20问题游戏中描述的神经网络 。

你会

1. 固定数量的问题，有些问题标记为“最终”问题。
2. 每个问题一个输入单位，其中0/1代表no/yes答案。最初设置为0.5
3. 每个问题一个输出单位，S形压缩成0..1范围
4. 将所有输入单元连接到所有输出单元的隐藏层。

已回答问题的输入单位设置为0或1，并且假设已经训练了神经网络，以使对于具有“是”答案的问题给出给定的一组现有答案，输出单元的输出值接近1。

在每个阶段，您都将选择NN最不确定的问题，即，对应的输出单位接近0.5，提出问题，并将对应的输入单位设置为答案。在最后阶段，您从“最终问题”列表中选择一个输出单位，其值最接近1。

每个包含20个问题的游戏都提供20个数据点，您可以使用这些数据点NN通过反向传播来更新权重，即，您可以对权重进行更新，以使当前神经网络的输出与给定的所有先前问题都匹配真实的答案。

我认为这不是一个真正的分类问题。20个问题通常被描述为压缩问题。实际上，这与您讨论熵的问题的最后部分更好地匹配。

请参阅第5.7章（Google图书）

Cover，TM和Joy，AT（2006）信息论要素

还有霍夫曼编码。我在arXiv上发现的这篇论文可能也很有趣。

Gill，JT和Wu，W.（2010年），《二十个问题游戏总是以肯定的结尾》， http：//arxiv.org/abs/1002.4907

为了简单起见，假设是/否问题（而akinator.com允许，也许不知道）。假设每个可能的主题（akinator.com所知道的）可以通过是/否问题和答案序列（本质上是一个二进制向量）来唯一标识。

所提出的问题（及其答案）定义了主题空间的递归划分。该分区也对应于树结构。树的内部顶点对应于问题，叶子的内部对应于主题。叶子的深度恰好是唯一识别主题所需的问题数量。您可以（通过询问每个可能的问题）来识别每个已知的主题。这并不有趣，因为可能存在数百个问题。

与霍夫曼编码的联系在于，它提供了一种在某种概率模型下构造树的最佳方式，从而使平均深度（几乎）最小。换句话说，它告诉您如何安排问题的顺序（构造一棵树），以使您平均需要问的问题数量很少。它使用贪婪的方法。

当然，akinator.com不仅限于此，但基本思想是，您可以从树的角度考虑问题，并尝试最小化其叶子的平均深度。