Deepmind的新“可分化神经计算机”将如何扩展?
Deepmind刚刚发表了一篇有关“可分化神经计算机”的论文,该论文基本上将神经网络与内存结合在一起。 这个想法是要教神经网络为特定任务创建和调用有用的显式记忆。这很好地补充了神经网络的功能,因为NN仅在权重中隐式存储知识,而用于执行单个任务的信息仅存储在网络激活中,并会随着添加的更多信息而迅速降解。(LSTM是一种尝试减缓这种短期记忆退化的方法,但仍然会发生。) 现在,它们可能不是在激活中保留必要的信息,而是在激活中保留特定信息的存储插槽地址,因此这些地址也应进行降级。我的问题是为什么这种方法应该扩展。数量更多的特定于任务的信息难道不应该使网络在其激活时保持所有适当内存插槽的地址的能力不堪重负吗?