什么是LSTM，BiLSTM以及何时使用它们？

11

我是深度学习的新手，我对了解什么是LSTM和BiLSTM以及何时使用它们（主要应用领域）特别感兴趣。为什么LSTM和BILSTM比RNN更受欢迎？

我们可以在无人监督的问题中使用这些深度学习架构吗？

— 沃尔卡
source

2

BiLSTM表示双向LSTM，这意味着信号在时间上向前和向后传播。您还可以将此架构应用于其他RNN。有关详细信息，请阅读en.wikipedia.org/wiki/Bidirectional_recurrent_neural_networks和colah.github.io/posts/2015-08-Understanding-LSTMs 欢迎光临本站！

— Emre

这是一个帖子，RNN和LSTM之间的区别，这是一个博客，演示LSTM和双向LTSM之间的区别

— Benyamin Jafari

7

RNN像LSTM和BiLSTM这样的体系结构在学习问题是连续的情况下使用，例如，您有一个视频，您想知道到底是什么，或者您想要一个代理为您阅读一行文档，它是文本图像，不是文本格式。我强烈建议您在这里看看。

LSTMs它们的双向变体之所以受欢迎，是因为它们试图了解如何以及何时忘记以及何时不使用其架构中的门。在以前的RNN体系结构中，逐渐消失的梯度是一个大问题，并导致这些网络无法学到很多东西。

使用双向LSTMs，您可以从头到尾一次，从头到尾一次为学习算法提供原始数据。这里有争论，但是尽管它取决于任务，但是它通常比单向方法学得更快。

是的，您也可以根据自己的任务在无人监督的学习中使用它们。看一下这里和这里。

— 媒体
source

1

非常感谢您的精彩回答。我们可以使用lstm在NLP中提取关键字吗？

— Volka

实际上，有很多关于它们的论文，例如，您可以在这里和这里看到。

— 媒体

非常感谢。我只是想知道是否可以使用现成的关键字提取深度学习方法？

— Volka

实际上我没看过，也许最好问一下:)

— 媒体

4

人类不会每秒都从头开始思考。阅读本文时，您会根据对先前单词的理解来理解每个单词。您不会丢掉一切，然后重新开始从头开始思考。您的想法有恒心。

传统的神经网络无法做到这一点，这似乎是一个重大缺陷。例如，假设您想对电影中每个点发生的事件进行分类。尚不清楚传统的神经网络如何利用其对电影中先前事件的推理来告知后期事件。

递归神经网络解决了这个问题。它们是具有循环的网络，允许信息持久存在。

要进一步阅读，请访问 Cohen的博客

— 阿比舍克·沙玛（Abhishek Sharma）
source

2

相比于LSTM，BLSTM或BiLSTM具有两个网络，一个访问past在信息forward方向和另一接入future的reverse方向。维基

根据Bidirectional官方文档在这里添加了一个新类：

model = Sequential()
model.add(Bidirectional(LSTM(num_channels, 
        implementation = 2, recurrent_activation = 'sigmoid'),
        input_shape=(input_length, input_dim)))

使用IMDB数据的完整示例如下所示

— 帕萨森
source