目的和确定何时使用隐藏层

跟进这个问题 ...

我正在尝试学习如何使用和创建神经网络来进行我的研究，但有一点是在逃避我。我意识到隐藏层是其中的必要部分，但是我只停留在两点上，我的参考文献并未对此做出满意的解释：

1. 隐藏层的确切目的是什么？
2. 如何确定要使用多少个隐藏层？

据我所知，它是“模拟”现实世界的功能，但如果可能的话，我想更多地解释一下。

隐藏层用于提高网络的表现力。它允许网络表示比没有隐藏层的情况更复杂的模型。

选择隐藏层的数量，或更笼统地选择网络体系结构（包括隐藏层中的隐藏单元的数量），这些决定应基于您的训练和交叉验证数据。您应该使用一定数量的节点来训练网络（开始时，尝试一个隐藏层，每个输入单元一个单元）并测试模型。

请参阅此链接以获取更多帮助：http : //www.faqs.org/faqs/ai-faq/neural-nets/part3/section-10.html

我假设我们正在讨论简单的前馈神经网络，即多层感知器。

1. 隐藏层对于捕获数据功能和您要预测的变量之间的非线性依赖性是必需的。如果不使用隐藏层，则最好使用线性回归（用于回归）或逻辑回归（用于分类）。
2. 通过尝试各种数量的隐藏层并评估它们的运行状况，例如在交叉验证设置中。通常，一个隐藏层就足够了，并且可以通过更改其大小和正则化来优化NN性能。

请注意，由于具有两个以上的隐藏层，因此您处于深度学习领域，并且可能需要自定义算法来训练网络。原因是香草反向传播遭受了深网“消失梯度”问题的困扰：误差函数的梯度在靠近输入的层上消失，而这些层将很难被训练。