有设计神经网络的经验法则吗?


12

我知道神经网络体系结构主要基于问题本身和输入/输出的类型,但是仍然-在开始构建时总是存在“正方形”。所以我的问题是-给定一个MxN的输入数据集(M是记录数,N是要素数)和一个C可能的输出类-是否有一个应该从几层/单位开始的经验法则?


这个问题的可能答案是针对特定问题的。对于图像对象识别可能有一些有用的规则,但是这些规则可能不适用于其他数据集。
horaceT

Answers:


10

该问题已在CrossValidated中得到了详细解答:如何选择前馈神经网络中隐藏层和节点的数量?

但是,让我加上我自己的两分钱:

选择最佳的神经网络架构并没有神奇的法则,但是,如果您找到了曾经有人解决过类似问题的架构,这通常是一个很好的起点。

使用最好的神经网络库(例如Keras,PyTorch或Tensorflow)以及学术文献中描述的体系结构,官方或非官方示例都是最好的选择。github上的keras / examples是一个很好的资源。

这些体系结构可能是经过大量反复试验后才选择的,因此大部分工作将为您完成。


5
对CrossValidated答案的一个警告是,它已有7年以上的历史了,并指向15年以上的FAQ,以获取有关配置隐藏层的“出色摘要”。要说过去7到15年间有关NN配置的工作很多,这有些轻描淡写。越来越多的应用程序超出了“ 一个隐藏层就足够 ”的范围。-就是说,对于许多问题,深度学习方法可能会过大。从单个隐藏层开始,只有在需要时才深入是一个可靠的策略。
RM

1
优点,RM-第二个答案是最近的。
伊兰(Imran)'18

@Imran我认为您永远不会完全回答OP问题。隐藏节点和体系结构的选择是一个非常深刻的问题,至今仍未得到很好的理解。通过跨层连接见证ResNet和广泛的ResNet。
horaceT

感谢您的评论,@ horaceT。我尝试的答案的意思是“没有经验法则,但是可以应用启发法”。我知道Res Nets。请让我知道我还能如何改善答案。
伊兰(Imran)'18


2

遵循@Imran的回答,我在他链接到的CrossValidated帖子的评论之一中找到了这篇论文。除了尝试使用遗传模型找到合适的体系结构(而不​​是使用经验法则)之外,第2.1节还为一/两层隐藏系统中应包含多少个隐藏单元提供了一些理论界限。

编辑: 我已经测试了该定理,并发现使用遗传模型与选择随机体系结构一样好。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.