Keras:LSTM辍学和LSTM反复辍学之间的区别


73

从Keras文档中:

dropout:介于0到1之间的浮点。输入线性变换要下降的单位的分数。

recurrent_dropout:在0到1之间浮动。用于递归状态线性转换的要下降的单位的分数。

谁能指出每个辍学下方图片的位置?

在此处输入图片说明


for the linear transformation of the inputs所以x_t
Thomas Jungblut

Answers:


75

我建议看一下本文的第一部分。在输入和/或输出上应用常规滤除,这意味着从x_t和到的垂直箭头h_t。在您的情况下,如果将其添加为图层的参数,它将掩盖输入。您可以在循环图层之后添加一个Dropout图层,以屏蔽输出。递归退出屏蔽(或“丢弃”)递归单元之间的连接;那就是图片中的水平箭头。

这张照片摘自上面的论文。在左侧,输入和输出的定期删除。在右侧,常规辍学加上经常性辍学:

这张照片摘自上面的论文。 在左侧,输入和输出的定期删除。 在右侧,常规辍学加上经常性辍学。

(在这种情况下,请忽略箭头的颜色;在本文中,他们进一步强调了在每个时间步长都保留相同的退出蒙版)


1
谢谢,@ michetonu。链接的文件和您的解释很有帮助。关于如何正确使用Keras中带有recurrent_dropout的常规dropout进行时间序列预测,您有什么要指出的?似乎有些示例结合了两种辍学,而只是使用recurrent_dropout。
金·米勒

@KimMiller从我所遇到的情况来看,使用一种或另一种似乎没有多少科学知识,还有多少(至今)。我倾向于同时优化两者,并选择最合适的组合。
米歇尔·托纳蒂

8
而且似乎在层上单独应用了(常规)dropout =参数,而对单独的dropout层则应用了该参数。这些方法之间的有效区别是什么?
金·米勒

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.