Questions tagged «lstm»

3
了解Keras LSTM
我试图调和对LSTM的理解,并在克里斯托弗·奥拉(Christopher Olah)在Keras中实现的这篇文章中指出了这一点。我正在关注Jason Brownlee为Keras教程撰写的博客。我主要感到困惑的是 将数据系列重塑为 [samples, time steps, features]和, 有状态的LSTM 让我们参考下面粘贴的代码专注于以上两个问题: # reshape into X=t and Y=t+1 look_back = 3 trainX, trainY = create_dataset(train, look_back) testX, testY = create_dataset(test, look_back) # reshape input to be [samples, time steps, features] trainX = numpy.reshape(trainX, (trainX.shape[0], look_back, 1)) testX = numpy.reshape(testX, (testX.shape[0], look_back, 1)) …

6
如何在TensorFlow中应用梯度裁剪?
考虑示例代码。 我想知道如何在RNN上的该网络上应用梯度剪切,而梯度可能会爆炸。 tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) 这是一个可以使用的示例,但是在哪里介绍呢?在RNN中 lstm_cell = rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0) # Split data because rnn cell needs a list of inputs for the RNN inner loop _X = tf.split(0, n_steps, _X) # n_steps tf.clip_by_value(_X, -1, 1, name=None) 但这没有意义,因为张量_X是输入,而不是grad,要裁剪的内容是什么? 我是否需要为此定义自己的优化器,还是有一个更简单的选择?

6
PyTorch-contiguous()
我正在通过github (link)上的LSTM语言模型示例进行研究。对我来说,它的一般功能非常​​清楚。但是我仍在努力理解调用的contiguous()作用,这在代码中多次发生。 例如,在代码的第74/75行中,创建了LSTM的输入和目标序列。数据(存储在中ids)为二维,其中第一维为批处理大小。 for i in range(0, ids.size(1) - seq_length, seq_length): # Get batch inputs and targets inputs = Variable(ids[:, i:i+seq_length]) targets = Variable(ids[:, (i+1):(i+1)+seq_length].contiguous()) 举一个简单的例子,当使用批处理大小1和seq_length10时inputs,targets如下所示: inputs Variable containing: 0 1 2 3 4 5 6 7 8 9 [torch.LongTensor of size 1x10] targets Variable containing: 1 2 3 4 …

2
Keras:LSTM辍学和LSTM反复辍学之间的区别
从Keras文档中: dropout:介于0到1之间的浮点。输入线性变换要下降的单位的分数。 recurrent_dropout:在0到1之间浮动。用于递归状态线性转换的要下降的单位的分数。 谁能指出每个辍学下方图片的位置?
73 keras  lstm  dropout 
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.