Questions tagged «dropout»

关于在神经网络中的何处放置缺失层，是否有任何通用指南？

64 neural-networks  dropout 

我正在创建一个卷积神经网络（CNN），其中有一个卷积层，后跟一个池化层，我想应用dropout来减少过度拟合。我有种感觉，应该在池化层之后应用辍学层，但是我真的没有什么可以支持的。在何处添加辍学图层？在池化层之前还是之后？

35 deep-learning  conv-neural-network  dropout 

dropout和drop connect有什么区别？ AFAIK，在训练过程中，dropout会随机丢弃隐藏的节点，但会使其处于测试状态，而drop connect会断开连接。 但是，删除连接是否不等于删除隐藏节点？节点（或连接）不是一组权重吗？

24 neural-networks  dropout 

最近，我正在研究学习增强算法，例如adaboost，梯度增强，并且我知道最常用的弱学习者是树这一事实。我真的想知道最近有一些使用神经网络作为基础学习者的成功例子（我的意思是一些论文或文章）。

21 neural-networks  deep-learning  boosting  ensemble  dropout 

如果您有半页内容说明辍学，您将如何进行？这项技术背后的原理是什么？

17 neural-networks  deep-learning  regularization  dropout 

这参考了论文《使用卷积网络进行有效对象本地化》，据我了解，辍学是在2D中实现的。 从Keras阅读有关如何实现Spatial 2D Dropout的代码后，基本上实现了形状为[batch_size，1，1，num_channels]的随机二进制掩码。但是，此空间2D Dropout对形状为[batch_size，height，width，num_channels]的输入卷积块究竟做了什么？ 我目前的猜测是，对于每个像素，如果像素的任何层/通道具有负值，则该一个像素的整个通道将默认为零。它是否正确？ 但是，如果我的猜测是正确的，那么如何使用与原始输入块的尺寸完全相同的形状[batch_size，height，width，num_channels]的二进制掩码会产生通常的按元素丢弃（这是根据tensorflow的原始dropout实现将二进制掩码的形状设置为输入的形状）？因为这意味着如果conv块中的任何像素为负，则整个conv块将默认为0。这是我不太了解的令人困惑的部分。

14 machine-learning  deep-learning  tensorflow  dropout