使用深度学习进行时间序列预测

我是深度学习领域的新手，对我来说，第一步是从deeplearning.net网站阅读有趣的文章。在有关深度学习的论文中，Hinton等人大多谈论将其应用于图像问题。有人可以回答我吗？它可以应用于预测时间序列值（财务，互联网流量等）的问题吗？如果可以的话，我应该重点关注哪些重要事项？

在针对顺序数据适应深度学习方法方面已有一些工作。许多工作集中在开发“模块”上，这些模块的堆叠方式类似于堆叠受限的Botzmann机器（RBM）或自动编码器，以形成一个深度神经网络。我将在下面重点介绍一些：

• 有条件的RBM：可能是时间序列深度学习最成功的应用之一。Taylor开发了一种类似于RBM的模型，该模型在可见单元之间添加了时间交互作用，并将其应用于运动捕获数据建模。本质上，您最终会得到诸如线性动力学系统之类的东西，其中隐藏单元会增加一些非线性。
• 时间性RBM：Ilya Sutskever在其论文（第3节）中开发了多个类似于RBM的模型，各单元之间存在时间交互作用。他还提出了一些有趣的结果，表明使用SGD训练递归神经网络可以比更复杂的方法（如Martens的无Hessian算法）执行得更好或更好，该方法使用了良好的初始化和动量方程式。
• 递归自动编码器：最后，我将提到Richard Socher在使用递归自动编码器进行解析方面的工作。尽管这不是时间序列，但肯定是相关的。

是的，深度学习可以应用于时间序列预测。实际上，它已经进行了很多次，例如：

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

这并不是真正的“特殊情况”，深度学习主要是关于预处理方法（基于生成模型），因此您必须专注于与您在“传统意义上”进行深度学习时所关注的完全相同的事情。手，以及在不进行深度学习的情况下执行时间序列预测时所关注的相同事物。

递归神经网络被认为是一种深度学习（DL）。我认为它们是用于（1d）序列到序列学习的最受欢迎的DL工具。它们目前是神经机器翻译（NMT）方法的基础（2014年在LISA（UdeM），Google以及其他一些我不记得的地方率先推出）。

Alex Graves的使用递归神经网络生成序列使用递归网络和长期短期记忆细胞来预测文本并进行笔迹合成。

Andrej Karpathy撰写了有关 从头开始生成字符级序列。他在教程中使用RNN。

有关更多示例，请参阅-Hochreiter，S.，＆Schmidhuber，J.（1997）。长期记忆。神经计算，9（8），1735-1780。

也许这会有所帮助：

• I. Sutskever，O。Vinyals和QV V Le，“使用神经网络进行序列学习的序列”，《神经信息处理系统进展》，2014年，第3104–3112页。

如果您对本文或段落中的句子这样的数据定义了确切的时间窗口，那么使用LSTM会很好，但是我不确定如何找到不明显且更了解上下文的时间窗口。例如，您看到的日志数据有多少是相关的，这并不明显。