2004年，掌上电脑飞行员的发明者杰夫·霍金斯（Jeff Hawkins）出版了一本非常有趣的书，名为《On Intelligence》，其中详述了人类新皮层如何工作的理论。
该理论称为内存预测框架，它具有一些引人注目的功能，例如不仅自下而上（前馈），而且自上而下的信息处理以及对不同未来情况进行同时但离散的预测的能力（如所述）在本文中）。
内存预测框架的承诺是无监督地生成未来可能性的稳定高级表示。这可能会彻底改变整个AI研究领域。
霍金斯创立了一家公司，并开始执行他的想法。不幸的是，十多年后，他的想法仍未兑现。到目前为止，该实现仅用于异常检测，这与您真正想要执行的操作相反。除了提取理解之外，您还将提取人造皮层无法理解的实例。
我的问题是霍金斯框架的不足之处。迄今为止，有哪些具体或概念性的问题使他的理论无法付诸实践？
Answers:
简短的答案是，霍金斯的愿景尚未以一种可广泛使用的方式来实现，特别是与预测有关的必不可少的部分。
答案很长，就是我几年前读了霍金斯的书，并为分层时间记忆（HTM）的可能性感到兴奋。尽管我仍然对他关于意识，自由意志和其他类似主题的一些哲学思考持保留态度，但我仍然是。我不会在这里详述这些疑虑，因为它们与HTM网络迄今未能成功达到预期的主要，压倒性原因没有关系：据我所知，Numenta仅实现了他的愿景的简化版本。他们忽略了大多数预测体系结构，这些体系结构在霍金斯理论中起着至关重要的作用。正如Gerod M. Bonhoff在有关HTM 的优秀论文1中指出的那样，
Numenta采取的最重要的设计决策是消除层次结构中的反馈，而是选择仅使用数据池加权算法来模拟此理论概念。该决定立即令人怀疑，并且违反了HTM的关键概念。霍金斯坚持认为，反馈对皮层功能至关重要，对他的理论至关重要。Numenta仍然声称，大多数HTM适用的问题可以通过其实现和专有的共享算法来解决。”
我仍在学习该领域的绳索，不能说Numenta从那以后是否已经放弃了这种方法，而赞成完全实施Hawkins的思想，尤其是最重要的预测体系结构。即使有，该设计决策也可能将采用推迟了很多年。这本质上不是批评。除了处理神经网络的普通成本之外，也许跟踪预测值并实时更新它们的计算成本在当时实在是负担不了，除了尝试像私有池那样的半量测之外，它们别无选择。机制。不过，此后我就该主题阅读的所有最佳研究论文都选择重新实现算法，而不是依赖Numenta平台，通常是因为缺少预测功能。Maltoni为博洛尼亚大学生物识别系统实验室提供的技术报告2。但是，在所有这些情况下，都没有易于使用的软件来立即使用其变体HTM（据我所知）。这一切的要旨是，就像GK切斯特顿（GK Chesterton）关于基督教的著名格言一样，“没有尝试过HTM并发现它们是匮乏的；它们被发现很困难，而且还没有被试用。” 由于Numenta省略了预测步骤，因此我认为它们将是主要的绊脚石，等待任何人想要为Hawkins编码HTM的完整视野。
1 Bonhoff，Gerod M.，2008年，使用分层时间记忆来检测异常网络活动。于2008年3月在俄亥俄州赖特-帕特森空军基地的空军技术学院发表。
2 Maltoni，Davide，2011年，分层时间记忆的模式识别。DEIS技术报告于2011年4月13日发布。博洛尼亚大学生物识别系统实验室：意大利博洛尼亚。
10年的生产准备好了吗？
让我们对此进行透视。感知器于1957年推出。直到1986年PDP书籍发行时，它才真正开始成为可用的模型。对于那些获得评分的人：29年。
从PDP书籍来看，直到最近十年才将其详细描述为可用的深度网络。如果您将Andrew Ng和Jeff Dean的猫识别任务作为一个深度网络来定义2012年的事件，那么可以说已经有25年以上的生产准备了。