那么LSTM有什么收获呢?


12

我正在扩展我对Keras软件包的了解,并且一直在使用一些可用的模型作为工具。我有一个NLP二进制分类问题,我正在尝试解决,并且一直在应用不同的模型。

在获得了一些结果并越来越多地了解LSTM之后,看来这种方法远远优于我尝试过的任何方法(跨多个数据集)。我一直在想自己,“为什么/何时使用LSTM?”。在某些模型的梯度逐渐消失之后,使用LSTM固有的附加门对我来说非常有意义。

那么LSTM有什么收获呢?他们在哪里做得不好?我知道没有“一刀切”的算法,因此LSTM必须有一个缺点。


尝试使用GRU,它们就像LSTM,但是需要较少的内存并训练得更快。
Vivek Khetan

Answers:


11

没错,LSTM在某些问题上可以很好地工作,但是其中的一些缺点是:

  • LSTM需要更长的培训时间
  • LSTM需要更多的内存来训练
  • LSTM很容易过拟合
  • 在LSTM中很难实现辍学
  • LSTM对不同的随机权重初始化敏感

例如,这些与一维转换网络等较简单的模型相比。

前三项是因为LSTM具有更多参数。


3
同意,我认为过度拟合(即普遍性较差)可能是最大的风险。确保您有进行模型验证的良好策略。
汤姆(Tom)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.