堆叠LSTM的优势？

我想知道在什么情况下堆叠LSTM是有利的？

从什么是堆叠多个LSTMs的优势是什么？（我只会在那里更新答案）：

来自{1}：

虽然从理论上讲，较深的体系结构还可以带来什么额外的功能，但从经验上观察到，在某些任务上，较深的RNN的性能要优于较浅的RNN。特别是，Sutskever等人（2014年）报告说，四层深度架构对于在编码器-解码器框架中实现良好的机器翻译性能至关重要。Irsoy和Cardie（2014）还报告了从单层BI-RNN过渡到多层结构的改进结果。许多其他工作使用分层RNN架构报告结果，但未明确与1层RNN进行比较。

---

参考文献：

• {1}戈德堡，约阿夫。“自然语言处理的神经网络模型入门”。J.Artif。智力 期刊（研究）57（2016）：345-420。 https://scholar.google.com/scholar?cluster=3704132192758179278&hl=zh-CN&as_sdt=0,5 ; http://u.cs.biu.ac.il/~yogo/nnlp.pdf

堆叠LSTM的一种优势是当我们想学习时间序列数据的分层表示时。在堆叠的LSTM中，每个LSTM层输出一系列矢量，这些矢量将用作后续LSTM层的输入。隐藏层的这种层次结构使我们可以更复杂地表示时间序列数据，从而以不同的比例捕获信息。

例如，堆叠式LSTM可用于提高时间序列分类（例如活动预测）的准确性，其中心率，步数，GPS和其他信号可用于预测活动（例如步行，跑步，骑自行车，爬楼梯或休息。有关使用EEG数据进行堆叠LSTM进行时间序列分类的示例，请查看以下ipython笔记本。

在序列到序列模型中：编码器网络的工作是将输入序列读取到我们的Seq2Seq模型中，并为该序列生成一个固定维上下文向量C。为此，编码器将使用循环神经网络单元（通常为LSTM）来一次读取一个输入令牌。单元格的最终隐藏状态将变为C。但是，由于很难将任意长度的序列压缩成单个固定大小的向量（尤其是对于诸如翻译之类的困难任务），因此编码器通常将由堆叠的LSTM组成。：一系列LSTM“层”，其中每一层的输出是下一层的输入序列。最后一层的LSTM隐藏状态将用作上下文向量。