Answers:
仅出于完整性考虑,我将指出递归神经网络(即具有反向连接的神经网络)经常用于自然语言处理(NLP)。其中包括Bidirectional,Jordan和Elman Networks等变体。长短期记忆(LSTM)是一种更复杂的神经网络算法,可以完成基于时间和序列的相同任务,但是可以利用诸如backprop之类的标准学习方法,因为它不会遭受“消失的梯度问题”的困扰。这是因为LSTM被出色地设计为“完美的积分器”,这使得长期计算误差梯度等变得容易得多。相反,从理论上讲,使用RNN进行学习仍然没有充分的基础,并且很难通过现有的方法(如时间反向传播(BPTT))进行计算。在延时神经网络(TDNN)中,其思想是在一段较长的时间或训练序列中,为每个新的训练示例添加新的神经元和连接;不幸的是,这与RNN一样,实际上限制了在网络大小失控或开始遗忘之前可以向网络中输入多少示例。LSTM具有更长的记忆(尤其是在使用Neural Turing Machines进行增强时),因此假设我想将神经网络用于NLP,那将是我的首选。虽然我对这个学科的了解有限(我仍在尝试学习技巧),所以我可能忽略了其他重要的神经网络算法...