是否存在具有很少节点能很好地解决非平凡问题的神经网络?


11

我很想知道是否存在任何神经网络,可以解决(使用精度≥80%)任何非平凡问题,该问题使用的节点很少(其中20个节点不是硬限制)。我想对神经网络的大小发展一种直觉。


通用逼近定理:只要隐层中有足够数量的节点,具有一个隐层的神经网络就可以近似任何“合理”函数。
nbro

2
我认为要回答您的问题并不容易。“非平凡的问题”是什么意思?
nbro

我想要几个节点,即使在隐藏层中也是如此。
吉列尔莫·莫斯

@nbro在这种情况下我的“不平凡”的感觉是难以解决或无法解决的。
周公克

Answers:


13

即使不可能正确地回答这个问题,因为非平凡的定义不够明确(也许作者以后会编辑这个问题,以更好地说明问题),我还是借此机会指出这篇对我来说很有趣的论文

最小的神经网络,以了解伊辛的重要性

假设您对Ising模型有一个大致的了解,我认为从数据驱动的角度识别临界温度的问题可以认为是不重要的,并且本文显示了作者如何通过从如本文所述从2017年开始,物质的机器学习阶段将达到 100个隐藏的神经元,只有2个隐藏的神经元

只是我的美分:

  • 减少神经元,同时保持良好的性能,应该在神经处理的可解释性方面有所帮助,这是众所周知的晦涩难懂,并且其复杂性会随着神经元数量的增加而呈指数级增长

3
我只是想要社区本身感兴趣的示例。我认为定义不平凡实际上是不平凡的。对?
Guillermo Mosse

1
@GuillermoMosse不,定义非平凡是非常琐碎的。该定义或多或少是任意的,具体取决于哪种情况最合适。我敢肯定,一个非常简单的NN可以学会分辨给定的数字是否是非平凡的平方根...
森林
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.