在过去的几年中,Deep Mind发表了许多有关深度学习的作品,其中大多数是有关各自任务的最新技术。但是AI社区实际上复制了多少作品?例如,据其他研究人员称,神经图灵机的论文似乎很难复制。
在过去的几年中,Deep Mind发表了许多有关深度学习的作品,其中大多数是有关各自任务的最新技术。但是AI社区实际上复制了多少作品?例如,据其他研究人员称,神经图灵机的论文似乎很难复制。
Answers:
在OP rcpinto的建议下,我转换了一条评论,内容是看到“围绕Graves等人的工作发表的六篇论文,这些论文产生了机芯的成果”,并将提供一些链接。请记住,这仅回答了与NTM有关的部分问题,而不是Google DeepMind本身,此外,我仍在学习机器学习的绳索,因此这些论文中的某些内容已经超出了我的理解范围;不过,我确实设法掌握了Graves等人的原始论文 {1]中的许多内容,并且接近要使用自产的NTM代码进行测试。在过去的几个月中,我也至少浏览了以下几篇论文;他们没有以严格的科学方式复制NTM研究,但他们的许多实验结果的确至少在切线程度上支持了原始研究:
•在本文中,有关NTM寻址的一种变体,Gulcehere等。并没有试图精确地复制Graves等人的测试,但是与DeepMind团队一样,它确实证明了原始NTM和几种变体的结果要优于普通的递归LSTM。他们使用10,000个Facebook Q&A数据集的训练样本,而不是N-grams Graves等人。在他们的论文中进行了操作,因此从严格意义上讲,它不是复制。但是,他们确实设法获得了原始NTM的版本和多个变体的运行,并记录了相同程度的性能改进。2
•与最初的NTM不同,该研究测试了强化学习的一个版本,该版本是不可区分的。这可能就是为什么他们无法解决几种类似编程的味道的原因,例如重复复制,除非控制器不局限于向前发展。但是,他们的结果足够好,可以为NTM的构想提供支持。他们的论文的最新修订版显然可用,我尚未阅读,因此也许他们的某些变体问题已解决。3
•不检测NTM的原味对像LSTMs普通神经网络的,本文进站它针对几个更先进的NTM内存结构。他们在与Graves等人相同类型的类似于编程的任务上获得了良好的结果。经过测试,但我不认为他们使用的是相同的数据集(很难从他们的研究写作方式中得知他们正在操作的数据集)。4
•在p。这项研究的 8,在Omniglot字符识别数据集上,NTM明显优于几种LSTM,前馈和最近邻方案。作者编写的另一种外部记忆方法显然胜过它,但显然效果仍然不错。作者似乎属于Google的竞争对手,因此在评估可复制性时可能会遇到问题。5
•在p。2 这些作者报告说,在复制任务的测试中,他们使用遗传NEAT算法演化而来的小得多的NTM网络,可以更好地概括“非常大的序列”,该算法动态地增长了拓扑。6
我想,NTM相当新,所以还没有太多时间严格复制原始研究成果。然而,我在整个夏天浏览的几篇论文似乎为他们的实验结果提供了支持。除了出色的性能外,我还没有看到任何报告。当然,我有可用性偏见,因为我只阅读可以在不经意的Internet搜索中轻松找到的pdf。从这个小样本中,似乎大多数后续研究都集中在扩展概念上,而不是复制上,这可以解释缺少可复制性数据。希望对您有所帮助。
1格雷夫斯,亚历克斯;Wayne,Greg和Danihelka,Ivo,2014年,“神经图灵机”,2014年12月10日出版。
2 Gulcehre,凯格拉;Sarath Chandar;Choy,Kyunghyun和Bengio,Yoshua,2016年,“具有软寻址和硬寻址方案的动态神经图灵机”,发布于2016年6月30日。
3 Zaremba,Wojciech和Sutskever,伊利亚,2015年,“强化学习神经图灵机”,2015年5月4日出版。
4张; 魏 Yu,Yang和Zhou,Bowen,2015年,“神经图灵机的结构化内存”,2015年10月25日出版。
5亚当·桑托罗;谢尔盖·巴图诺夫;马修·博特维尼克;Wierstra,Daan和Lillicrap,Timothy,2016年,“带记忆增强神经网络的单点学习”,2016年5月19日出版。
6 Boll Greve,拉斯穆斯;雅各布森(Jacobsen),埃米尔·朱尔(Emil Juul)和塞巴斯蒂安·里斯(Sebastian Risi)约会不详,“进化的神经图灵机”。没有列出发布者
除(也许)Boll Greve等人之外的所有文章。发表在康奈尔大学图书馆arXiv.org资料库:纽约伊萨卡。
我倾向于认为这个问题是边界问题,可能会越来越接近。不过,目前有一些评论。
复制(例如)DeepMind这样的公司的作品,至少有两个问题:
技术应该是可行的。有些人复制了一些Atari游戏特技。AlphaGo似乎更复杂,将需要更多的工作,但是在将来的某个时候应该是可行的(今天的个人可能缺乏计算资源)。
数据可能更棘手。几家公司开放了数据集,但数据也是竞争的神经。