Deep Mind的工作实际上可以复制多少?


9

在过去的几年中,Deep Mind发表了许多有关深度学习的作品,其中大多数是有关各自任务的最新技术。但是AI社区实际上复制了多少作品?例如,据其他研究人员称,神经图灵机的论文似乎很难复制。


我不确定要复制原始论文的结果,但是我遇到了大约六篇论文,这些论文是Graves等人的工作的后续成果,这些论文产生了机芯的结果。大多数是NTM主题的变体。我可以发布一些链接,如果有帮助的话。
SQLServerSteve

1
此评论+链接将是一个很好的实际答案。
rcpinto

我将尽快将其转换为答案,以便尽快重新查找网址。
SQLServerSteve

Answers:


7

在OP rcpinto的建议下,我转换了一条评论,内容是看到“围绕Graves等人的工作发表的六篇论文,这些论文产生了机芯的成果”,并将提供一些链接。请记住,这仅回答了与NTM有关的部分问题,而不是Google DeepMind本身,此外,我仍在学习机器学习的绳索,因此这些论文中的某些内容已经超出了我的理解范围;不过,我确实设法掌握了Graves等人的原始论文 {1]中的许多内容,并且接近要使用自产的NTM代码进行测试。在过去的几个月中,我也至少浏览了以下几篇论文;他们没有以严格的科学方式复制NTM研究,但他们的许多实验结果的确至少在切线程度上支持了原始研究:

•在本文中,有关NTM寻址的一种变体,Gulcehere等。并没有试图精确地复制Graves等人的测试,但是与DeepMind团队一样,它确实证明了原始NTM和几种变体的结果要优于普通的递归LSTM。他们使用10,000个Facebook Q&A数据集的训练样本,而不是N-grams Graves等人。在他们的论文中进行了操作,因此从严格意义上讲,它不是复制。但是,他们确实设法获得了原始NTM的版本和多个变体的运行,并记录了相同程度的性能改进。2

•与最初的NTM不同,该研究测试了强化学习的一个版本,版本是不可区分的。这可能就是为什么他们无法解决几种类似编程的味道的原因,例如重复复制,除非控制器不局限于向前发展。但是,他们的结果足够好,可以为NTM的构想提供支持。他们的论文的最新修订版显然可用,我尚未阅读,因此也许他们的某些变体问题已解决。3

•不检测NTM的原味对像LSTMs普通神经网络的,本文进站它针对几个更先进的NTM内存结构。他们在与Graves等人相同类型的类似于编程的任务上获得了良好的结果。经过测试,但我不认为他们使用的是相同的数据集(很难从他们的研究写作方式中得知他们正在操作的数据集)。4

•在p。这项研究的 8,在Omniglot字符识别数据集上,NTM明显优于几种LSTM,前馈和最近邻方案。作者编写的另一种外部记忆方法显然胜过它,但显然效果仍然不错。作者似乎属于Google的竞争对手,因此在评估可复制性时可能会遇到问题。5

•在p。2 这些作者报告说,在复制任务的测试中,他们使用遗传NEAT算法演化而来的小得多的NTM网络,可以更好地概括“非常大的序列”,该算法动态地增长了拓扑。6

我想,NTM相当新,所以还没有太多时间严格复制原始研究成果。然而,我在整个夏天浏览的几篇论文似乎为他们的实验结果提供了支持。除了出色的性能外,我还没有看到任何报告。当然,我有可用性偏见,因为我只阅读可以在不经意的Internet搜索中轻松找到的pdf。从这个小样本中,似乎大多数后续研究都集中在扩展概念上,而不是复制上,这可以解释缺少可复制性数据。希望对您有所帮助。

1格雷夫斯,亚历克斯;Wayne,Greg和Danihelka,Ivo,2014年,“神经图灵机”,2014年12月10日出版。

2 Gulcehre,凯格拉;Sarath Chandar;Choy,Kyunghyun和Bengio,Yoshua,2016年,“具有软寻址和硬寻址方案的动态神经图灵机”,发布于2016年6月30日。

3 Zaremba,Wojciech和Sutskever,伊利亚,2015年,“强化学习神经图灵机”,2015年5月4日出版。

4张; 魏 Yu,Yang和Zhou,Bowen,2015年,“神经图灵机的结构化内存”,2015年10月25日出版。

5亚当·桑托罗;谢尔盖·巴图诺夫;马修·博特维尼克;Wierstra,Daan和Lillicrap,Timothy,2016年,“带记忆增强神经网络的单点学习”,2016年5月19日出版。

6 Boll Greve,拉斯穆斯;雅各布森(Jacobsen),埃米尔·朱尔(Emil Juul)和塞巴斯蒂安·里斯(Sebastian Risi)约会不详,“进化的神经图灵机”。没有列出发布者

除(也许)Boll Greve等人之外的所有文章。发表在康奈尔大学图书馆arXiv.org资料库:纽约伊萨卡。


4

我倾向于认为这个问题是边界问题,可能会越来越接近。不过,目前有一些评论。


复制(例如)DeepMind这样的公司的作品,至少有两个问题:

  • 出版物中缺少技术性。
  • 访问相同级别的数据。

技术应该是可行的。有些人复制了一些Atari游戏特技。AlphaGo似乎更复杂,将需要更多的工作,但是在将来的某个时候应该是可行的(今天的个人可能缺乏计算资源)。

数据可能更棘手。几家公司开放了数据集,但数据也是竞争的神经。


我实际上是在寻找那些边界...您会说这是题外话吗?太宽泛?要不然是啥?
rcpinto

我还没有决定。我想知道对于我们来说,能否或不能复制某些公司的主张对AI至关重要?我可以看到人们对此进行自我质疑,然后来到这里获得一些答案,但是我们并不是真的在谈论AI。您的问题还很年轻。让我们看看社区的决定。我发现它“可以接受边界线”。
埃里克·普拉顿
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.