神经网络中的最佳层数?


Answers:


8

有一种称为Pruning神经网络的技术,仅用于同一目的。

修剪是对隐藏层的数量进行的。该过程与决策树的修剪过程非常相似。修剪过程如下:

  • 使用标准训练算法训练大型,密集连接的网络
  • 检查训练有素的网络以评估权重的相对重要性
  • 去除最不重要的重量
  • 训练修剪过的网络
  • 重复步骤2-4,直到满意为止

然而,有几种优化的方法来修剪神经网络,这也是一个非常活跃的研究领域


对称方法是应用于网络体系结构的常见“网格搜索”。从小规模开始(速度如此之快),然后自动尝试更大的体系结构。不过,所有这些都只是蛮力……
埃里克·普拉顿

@EricPlaton +1用于网格搜索。在超优化ML算法中非常方便。但是,它在计算上不是很密集吗?
Dawny33 '16

1
是的,很贵。但是,当我们从小处着手时,最初的阶段可以进行得很快,并且可以更好地实现目标。
埃里克·普拉顿

@EricPlaton“ Grid Search”应该拥有一个单独的答案:)
Dawny33 '16

我考虑了一下,但是然后会有两个备选的答案,也许是“同等正确的”答案……我认为对读者而言,最好的办法是将答案汇总为一个。
埃里克·普拉顿

0

您可以看一下贝叶斯超参数优化,这是根据超参数优化损耗(或其他任何东西)的一般方法。但是请注意,通常,网络越深越好,因此根据层数优化损耗并不是一件很有趣的事情。

最好使用网格搜索和一些常识(通过阅读许多示例来学习)。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.