从Keras文档中:
dropout:介于0到1之间的浮点。输入线性变换要下降的单位的分数。
recurrent_dropout:在0到1之间浮动。用于递归状态线性转换的要下降的单位的分数。
谁能指出每个辍学下方图片的位置?
Answers:
我建议看一下本文的第一部分。在输入和/或输出上应用常规滤除,这意味着从x_t
和到的垂直箭头h_t
。在您的情况下,如果将其添加为图层的参数,它将掩盖输入。您可以在循环图层之后添加一个Dropout图层,以屏蔽输出。递归退出屏蔽(或“丢弃”)递归单元之间的连接;那就是图片中的水平箭头。
这张照片摘自上面的论文。在左侧,输入和输出的定期删除。在右侧,常规辍学加上经常性辍学:
(在这种情况下,请忽略箭头的颜色;在本文中,他们进一步强调了在每个时间步长都保留相同的退出蒙版)
上面的答案强调了一种经常性的辍学方法,但tensorflow和keras并未使用一种方法。Tensorflow文档。
Keras / TF是Semeniuta等人提出的一种循环方法。另外,请在图片下方检查比较不同的经常性辍学方法。上面答案中提到的Gal和Ghahramani方法在第二位,而Semeniuta方法是最合适的。
for the linear transformation of the inputs
所以x_t