仅使用2个隐藏层对数字进行排序


10

我正在阅读Ilya Sutskever和Quoc Le撰写的基础论文《使用神经网络进行序列学习》。在第一页上,它简短地提到:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size 

谁能简要概述如何仅使用2个隐藏层对数字进行排序?

Answers:


3

通过做一些研究,我发现了一篇论文,该论文证明了最多可以对3层进行排序,并且如果您将网络的大小限制为多项式,而输入数为零,则它们的解决方案是最佳的:

用于除法和相关问题的深度有效神经网络,请参见第955页的定理7(PDF中的第10页)。


1
感谢您找到相关的论文!实际上,本文使用“深度” 3进行排序,这似乎意味着仅两个隐藏层。另请参见他们参考的下限14,即“ 边界深度的阈值电路” igi-web.tugraz.at/people/maass/psfiles/34o.pdf(也在ResearchGate上),第131-132页(3 -4 in pdf)。
Ben Reiniger

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.