可以训练深层网络证明定理吗？

假设我们在一阶谓词演算中有大量证明。假设我们在该领域的数学形式中也有公理，推论和定理。

以每个被证明的命题和围绕该特定命题的现有理论为例，作为训练集中的一个例子，并将该命题的已知良好证明作为相关标签。现在，考虑专门为训练该示例集而设计的深层人工网络，并且正确设置超参数也可以这样做。

是否有可能以一种新的命题的表达和围绕它的现有理论以一阶谓词演算形式出现在输入端的方式训练深层的人工网络，从而在输出端产生证明？

（当然，这些证明应随后手动检查。）

如果产生的良好证明的比例足够高，是否有可能创建一种遗传算法，向经过训练的深度网络提出建议，从而创建证明？

那可能吗？

是否可以使用这种深度网络设计来解决Collat​​z猜想或Riemann猜想，或者至少以数学家更能够得出合法证明的方式重新排列模式？

在过去的几十年中开发的现有生产系统已将推理规则编码到其中。它们基于莱布尼兹（Leibniz）的愿景，即所有经典逻辑都可以编码为符号语言并进行机械处理。一阶谓词逻辑得到发展，命名法正式化。

尽管自动定理证明的视野受到了哥德尔的两个不完全性定理的极大挑战，但图灵的完全性工作以及冯·诺依曼（von Neumann）实际实现该体系的体系结构的发展使工作得以恢复，从而使推理的机械过程实现了自动化。

在明斯基时代，麻省理工学院的AI实验室还活着，但他们称之为组合爆炸法，表明计算资源的可用性不足，无法搜索自动证明非平凡定理的任意定理所需的空间。大型并行计算机（称为连接机）和各种方案（使用元规则和启发式方法）被用来克服组合爆炸问题。

引入人工网络后，最初提出时，LISP社区就否定了它们可以与生产机器竞争的想法。但是，在增加计算资源方面取得相当大的成功以及最近在机器学习方面取得的成就的背景下，许多人开始提出在20世纪被搁置的问题。

我们已经知道，人工网络可以学习任意逻辑和代数函数，其中许多是PAC可学习的。¹ 在适当的学习环境下，学习逻辑推理显然是大脑皮质在当前进化阶段可以做的事情。许多人都问神经网络是否会达到那种认知水平。

主流的AI和机器学习研究并不专注于逻辑推理规则的人工网络获取，主要是因为将它们编程到诸如DRools和其他常用生产系统的系统中似乎更理性的方法并不意味着它将永远存在。问题是，在已经存在其他解决方案的情况下，是否有足够的投资回报率来做可能有趣但肯定昂贵的事情。

这个问题类似于关于人工智能在数学上的表现如何的另一个人工智能堆栈交换问题。 此处给出的答案之一适用于此处。

重要的是，在这段时间内不要放弃任何方法，因为最近对人工智能的兴趣不仅重新点燃了政府支出，而且重新点燃了商业支出。这项支出增加了人员，计算能力和克服先前可能无法克服的障碍的动力。

脚注

[1] PAC学习是一个框架，用于确定学习算法的实际可计算性，其中考虑到可以使用给定模型学习的假设类别的特征以及学习过程的预期准确性和可信度。

您的想法通常可能是可行的，但是神经网络可能是错误的高级工具，不能用来研究此问题。

神经网络的优势在于寻找内部表示形式，从而在将输入映射到输出时提供高度非线性的解决方案。当我们训练神经网络时，这些映射是通过重复示例来统计地学习的。当给定的数据类似于训练集时，这往往会产生很好的内插模型，但是很难进行外插。

神经网络模型也缺少上下文，因此，如果您使用生成模型（例如，对经过训练的RNN进行训练，可以创建有效或有趣的证据），那么它很容易产生统计上令人愉悦但毫无意义的垃圾。

您将需要一些组织原则，使您能够以组合方式浏览和确认证明。实际上，像您的想法之类的事情已经完成了不止一次，但是我目前无法找到参考。

这些都不会阻止您在AI中使用神经网络来搜索证明。例如，在数学AI中可能需要一些启发式技巧来引导搜索-例如，在上下文中X是次要证明Y可能很有趣或相关。评估可能性得分是神经网络可以作为更广泛的AI方案的一部分进行的工作。这类似于将神经网络与强化学习相结合的方式。

从原理上说，可能有可能完全从神经网络构建您的想法。毕竟，有充分的理由怀疑人类的推理在使用生物神经元时也同样起作用（尚未证明人工神经元可以以任何一种方式匹配）。但是，这种系统的架构超出了任何现代NN设计或培训设置的范围。绝对不只是添加足够的层然后输入数据。

我们所知道的

根据世界银行的网页，“今天，全球约有2亿高等教育学生，而1998年为8900万。” 根据数学要求，至少有100分之1的人必须制定一个定理的证明，并且至少要活40年。

尽管至少有2000万个神经网络可以证明一个定理，但它们仍缺少可以肯定地回答该问题的示例。这些神经网络是生物学的，而不是人工的，并且它们大多数已被证明是先前已证明的定理，而不是Collat​​z猜想或Riemann猜想。

什么相信

那些相信深度Q学习和基于注意力的设备将与其他学习系统设计结合在一起，直到模拟甚至可能超过了人类大脑的能力的人，都可能会将定理证明作为人类能力之一。这些可能将断言逻辑和推理声明为将在人工系统中实现的另一种复杂的认知功能。

那些相信某些能力已灌入人类并成为保留的能力的人，可以声明谓词逻辑和推理仅属于人类。

现状进展

没有学术文章表明可以使用谓词逻辑和推论来证明最简单的证明。政府或私营企业有可能在某种程度上取得了成功，但尚未公开。

在AI的发展初期就提出了这样的观点，即人工网络如果得到适当发展，则可以在其最有效的领域超越生产系统，基于生产或规则的AI系统。当时它是有争议的，现在是有争议的，但是论点不是数学上的，因此没有强有力的迹象表明这是不可能的。

当然，人类思维的其他认知方面也是AI研究的重要目标。对话，自动化教育，计划，战略分析和车辆驾驶都是高水平思想的方面，其需求不仅是DQN，而且现在可以提供基于注意力的网络方法，但是这些领域的研究工作是可观的，并且资金充裕。

潜在方法

对逻辑认知能力的研究应该开始已经知道的证据，比问题中提到的猜想要简单得多。例如，已经证明两个非负整数之和必须是另一个非负整数。在谓词演算中，可以表示为字符串。

$\forall a∈C, b∈C: s=a+b \implies s∈C$

它说a和b是计数集的成员，定义为两者之和的s也必须是计数集的成员。它的证明也可以表示为一阶谓词演算的字符串序列。

不小的研究项目

对于已经学习了多年数学课程并构造了证明的人来说，这样的例子似乎很简单。对于孩子来说，这并不简单，要使人工网络收敛到应用所有逻辑推理规则并结合元规则以求得诸如整数算术之类的形式系统证明的功能非常困难。

图灵完整的网络（例如RNN）肯定会比MLP（多层感知器）具有优势。基于注意力的网络可能是一个合理的研究选择。以下参考文献中还指出了其他内容。

该研究将需要一个并行计算平台，因为输入向量可能是数百KB。如果不花一两年的时间就很难估计出实例的大小以及需要多少实例。

首先必须定义计数数字，加号和等号的定义，并且这些定义和许多公理，假设，引理和推论必须作为正式输入格式的一部分，例如：以上证明以及该建议。

这就是仅准备一个示例的工作。您需要成千上万的人才能将有关推理规则的直观知识训练到一个深层网络中。（出于理论上的原因，我非常有意地选择了“直觉”一词，这至少需要一百页才能很好地解释。）

这不是一个小项目，因为示例数据集必须至少具有数千个案例，并且每个案例（尽管可能共享一些理论）都必须进行设置，以便完美地形成建议并提供必要的理论体系以完美的形式在每次训练迭代的输入处。

我的猜测是，将需要一群对深层网络，收敛性和谓词演算有适当了解的聪明的研究人员来训练网络，以响应简单的数学建议而给出可行的证明，大约需要十年的时间。

但这将是不小的成就

对于某些人来说，这似乎是荒谬的尝试，但这将是第一次有人教计算机如何逻辑。大自然还不到地球的年龄，就对苏格拉底有机体进行了逻辑推理。

人们认为，由于计算机是由数字电路构成的，因此根据设计，这些数字电路会执行逻辑，因此计算机就是逻辑的。几十年来一直从事软件开发的人都倾向于比为获取乐趣或金钱而进行更深入的思考。即使经过仔细的编程，计算机也无法模拟逻辑推理，也无法针对任何错误纠正其自己的编程行为。实际上，当今大多数软件开发都是错误修复。

模拟逻辑思维将是迈向模拟认知和更广泛的人类能力的重要一步。

参考文献

学习组成神经网络来回答问题Jacob Andreas，Marcus Rohrbach，Trevor Darrell和Dan Klein UC，伯克利2016 https://arxiv.org/pdf/1601.01705.pdf

学习多层表示形式Geoffrey E. Hinton多伦多大学计算机科学系，2007年 http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf

神经图灵机（幻灯片）作者：亚历克斯·格雷夫斯（Alex Graves），格雷格·韦恩（Greg Wayne），伊沃·丹尼赫尔卡（Ivo Danihelka）主讲人：王婷慧（Steve） https://eecs.wsu.edu/~cook/aiseminar/papers/steve.pdf

神经图灵机（论文）亚历克斯·格雷夫斯（Alex Graves），格雷格·韦恩（Greg Wayne），伊沃·丹尼赫尔卡（Ivo Danihelka） https://pdfs.semanticscholar.org/c112/6fbffd6b8547a44c58b192b36b08b18299de.pdf 2014

强化学习，神经图灵机Wojciech Zaremba，Ilya Sutskever ICLR会议论文 https://arxiv.org/pdf/1505.00521.pdf?utm_content=buffer2aaa3&utm_medium=social&utm_source=twitter.com&utm_campaign=buffer 2016

具有连续和离散寻址方案的动态神经图灵机Caglar Gulcehre1，Sarath Chandar1，Kyunghyun Cho2，Yoshua Bengio1 https://arxiv.org/pdf/1607.00036.pdf 2017

在线自构造神经模糊推理网络及其应用Chia-Feng Juang和Lin Chin-Teng Lin IEEE Transactions on Fuzzy Systems，v6，n1 1998 https://ir.nctu.edu.tw/bitstream/11536/ 32809/1 / 000072774800002.pdf

选通图序列神经网络Li Yujia Li和Richard Zemel ICLR会议论文2016 https://arxiv.org/pdf/1511.05493.pdf

像人一样学习和思考的建筑机器Brenden M.Lake，Tomer D.Ullman，Joshua B.Tenenbaum和Samuel J.Gershman行为与脑科学2016 https://arxiv.org/pdf/1604.00289.pdf

用于大词汇量语音识别的上下文相关的预训练深层神经网络George E. Dahl，Dong Yu，Li Deng和Alex Acero IEEE音频，语音和语言处理交易2012 https://s3.amazonaws.com/ academia.edu.documents / 34691735 / dbn4lvcsr-transaslp.pdf？AWSAccessKeyId = AKIAIWOWYYGZ2Y53UL3A＆Expires = 1534211789＆Signature = 33QcFP0JGFeA％2FTsqjQZpXYrIGmm8％3D＆response-content _％_ Need_Need_Need_％Train-Context-Deposition％Context3％D3T

将实体和关系嵌入到知识库中以进行学习和推理，杨碧珊1，叶文陶2，何小东2，高建峰和李登2 ICLR会议论文2015 https://arxiv.org/pdf/1412.6575.pdf

深度信念网的快速学习算法Geoffrey E. Hinton，Simon Osindero，Yee-Whye Teh（由Yann Le Cun交流）神经计算18 2006 http://axon.cs.byu.edu/Dan/778/papers/Deep ％20Networks / hinton1 * .pdf

FINN：快速，可扩展的二值化神经网络推理框架Yaman Umuroglu等人2016 https://arxiv.org/pdf/1612.07119.pdf

从机器学习到机器推理LéonBottou 2/8/2011 https://arxiv.org/pdf/1102.1808.pdf

深度学习Yann LeCun1,2，Yoshua Bengio3和Geoffrey Hinton4,5 Nature vol 521 2015 https://www.evl.uic.edu/creativecoding/courses/cs523/slides/week3/DeepLearning_LeCun.pdf

有可能，但可能不是一个好主意。

逻辑证明是AI最古老的领域之一，并且有一些不需要专门训练的专门技术，并且比神经网络方法更可靠，因为它们不依赖统计推理。 ，而是使用数学家的朋友：演绎推理。

主要领域称为“ 自动定理证明 ”，它的年代已经足够长，可以算是研究领域了。创新并不多，但是仍然有人在努力。

基本思想是，定理证明只是经典的或启发式的指导式搜索：您从一个由一组接受的前提组成的状态开始。然后，您可以应用任何有效的逻辑推理规则来生成也必须为真的新前提，从而扩展您所拥有的知识集。最终，您可以通过广度优先搜索或迭代加深之类的枚举搜索，或通过具有特定于域的启发式方法的A *之类的方法来证明所需的前提。许多求解器也只使用一个逻辑规则（统一），因为它很完整，并减少了搜索的分支因子。