短时间序列的最佳方法


35

我有一个与短时间序列建模有关的问题。建模是否不是问题,而是如何建模。你会推荐建模(非常)短的时间序列(说长的什么方法)?“最好”是指最可靠的一种,即由于观察次数有限,因此最不容易出错。对于短序列,单个观测值可能会影响预测,因此该方法应提供谨慎的误差估计以及与预测相关的可能变异性。我通常对单变量时间序列感兴趣,但是了解其他方法也将很有趣。T20


时间单位是多少?您可以发布数据吗?
Dimitriy V. Masterov

8
无论您做出什么假设-有关季节性,平稳性和&c。-较短的时间序列将使您有机会仅检测最公然的违规行为;因此,应该在领域知识中有充分的根据。您需要建模还是仅进行预测?的M3竞争比较各种“自动”预测系列上从各种结构域,如一些方法短20.
Scortchi -恢复莫妮卡

5
+1 @Scortchi的评论。顺便提及,在3003个M3系列(McompR 的包装中提供)中,有504个观测值不超过20个,特别是年度序列的55%。因此,您可以查找原始出版物,并查看哪些适用于年度数据。甚至挖掘提交给M3竞赛的原始预测,这些原始预测可在Mcomp软件包(列表M3Forecast)中找到。
S. Kolassa-恢复莫妮卡2015年

嗨,我不会在答案中添加任何内容,而只是分享一些有关该问题的信息,希望它可以帮助其他人在这里理解该问题:当您说一个健壮的问题时,由于有限的事实,它最不容易出错观察数。我认为稳健性是统计数据中的一个重要概念,在这里,至关重要的是,任何建模拟合的数据都很少,这在很大程度上取决于模型本身或离群值的假设。凭借鲁棒性,您可以使此约束变得不那么强大,不允许假设限制您的结果。我希望这有帮助。
Tommaso Guerrini

2
@TommasoGuerrini健壮的方法不会做出更少的假设,它们会做出不同的假设。
蒂姆

Answers:


31

对于非常简单的预测方法(例如“预测历史平均值”),胜过更复杂的方法是常见的。对于短时间序列,这种可能性更大。是的,原则上您可以将ARIMA或更复杂的模型拟合到20个或更少的观测值,但是您很可能会过度拟合并获得非常差的预测。

所以:从一个简单的基准开始,例如

  • 历史平均值
  • 增强鲁棒性的历史中位数
  • 随机游走(预测最后的观察结果)

根据样本外数据评估这些数据。将任何更复杂的模型与这些基准进行比较。您可能会惊讶地发现,胜过这些简单方法的难度有多大。此外,将不同方法的鲁棒性与这些简单方法进行比较,例如,不仅可以使用自己喜欢的误差度量来评估样本外的平均准确度,还可以评估误差方差

是的,正如Rob Hyndman在他的帖子写道亚历山大·亚历山大(Aleksandr)所链接的那样,对于短系列电影而言,样本外测试本身就是一个问题-但实际上没有很好的选择。(不要使用样本内拟合,这对预测准确性没有指导。)AIC不会对中位数和随机游动有所帮助。但是,无论如何,您都可以使用AIC近似的时间序列交叉验证


刚发现您的答案(+1)。如果您有兴趣并想澄清一下,我还发表了另一条评论。
Aleksandr Blekh

17

我再次利用问题作为机会来了解更多有关时间序列的信息 -我感兴趣的(许多)主题之一。经过简短的研究,在我看来,存在对短时间序列建模问题的几种方法。

第一种方法是使用标准/线性时间序列模型(AR,MA,ARMA等),但要注意某些参数,如Rob Hyndman的这篇文章 [1]所述,他不需要在本文中进行介绍。时间序列和预测世界。我所见过的大多数相关文献都引用了第二种方法,建议使用非线性时间序列模型,尤其是阈值模型 [2],其中包括阈值自回归模型(TAR)自退出TAR( SETAR)阈值自回归移动平均模型(TARMA)TARMAX模型,该模型扩展了TAR外部时间序列模型。非线性时间序列模型(包括阈值模型)的出色概述可以在本文 [3]和本文 [4]中找到。

最后,另一篇与IMHO相关的研究论文 [5]描述了一种有趣的方法,该方法基于非线性系统的Volterra-Weiner表示-参见 [6]和 [7]。在短而嘈杂的时间序列中,这种方法被认为优于其他技术。

参考文献

  1. Hyndman,R.(2014年3月4日)。将模型拟合到短时间序列。[博客文章]。取自http://robjhyndman.com/hyndsight/short-time-series
  2. 宾夕法尼亚州立大学。(2015)。阈值模型。[在线课程资料]。STAT 510,应用时间序列分析。取自https://onlinecourses.science.psu.edu/stat510/node/82
  3. Zivot,E。(2006)。非线性时间序列模型。[课堂笔记]。ECON 584,时间序列计量经济学。华盛顿大学。取自http://faculty.washington.edu/ezivot/econ584/notes/nonlinear.pdf
  4. Chen,CWS,So,MKP,&Liu,F.-C. (2011)。审查金融中的阈值时间序列模型。统计及其接口,第4卷,第167-181页。取自http://intlpress.com/site/pub/files/_fulltext/journals/sii/2011/0004/0002/SII-2011-0004-0002-a012.pdf
  5. M. Barahona和C.-S. Poon (1996)。检测短噪声时间序列的非线性动力学。自然,381,215-217。取自http://www.bg.ic.ac.uk/research/m.barahona/nonlin_detec_nature.PDF
  6. 密苏里州弗朗兹(2011)。沃尔泰拉和维纳系列。学术论文集,6(10):11307。取自http://www.scholarpedia.org/article/Volterra_and_Wiener_series
  7. 密苏里州弗朗兹(Franz,MO)和B. Wiener和Volterra理论与多项式核回归的统一观点。取自http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/nc05_%5B0%5D.pdf

4
+1您介意在回答中写出这些论文的参考文献吗?最近我们发现,许多与论文的链接在一段时间后会腐烂,最终使它们几乎变得无用,除非文中也未提及论文的作者,职称等。
ub

2
@whuber:谢谢。完全没有问题,我将在今晚用参考资料更新我的答案。
Aleksandr Blekh

2
+1链接到Rob Hyndman的帖子。(但是,对于复杂的模型,我倾向于将其设为-1。对于在少于20个观测值的时间序列上使用阈值或任何其他非线性时间序列方法,我会非常谨慎。您几乎肯定会过拟合,这直接与之相反到OP对稳健方法的要求。)
S. Kolassa-恢复莫妮卡2015年

3
[2,3,4]不提及短时间序列,而是查看[2]中的图:> 120个观测值。[4]专注于金融,在那里您拥有超过20个观察值。[5]写道“短时间序列,通常为1,000点长”(第216页)。我看不到要可靠且可靠地拟合TAR或类似模型,或者您链接到的任何更复杂模型的方法,且观察少于20个。(顺便说一句:我也在一边进行了一些推论统计,并且只有不到20个观测值,您的估计确实不能超过平均值和一个以上的参数。)
S. Kolassa-恢复莫妮卡2015年

5
不用客气;-)我想得出的结论是,“空头”非常依赖于上下文:对于传感器阅读系列或金融领域,有1000个数据点是“空头”的-但是在供应链管理中,每月进行20次观察几乎是正常的,“ short”仅从12个或更少的观测值开始。
S. Kolassa-恢复莫妮卡2015年

11

T20

对于非常短或没有数据的情况,以下定性方法在实践中效果很好:

  • 综合预测
  • 调查
  • 德尔菲法
  • 场景构建
  • 类比预测
  • 行政意见

我知道效果最好的最佳方法之一是使用结构化类比(在上面的列表中排名第5),您可以在该类产品中尝试预测的类别中查找相似/相似的产品,并将其用于短期预测。有关示例,请参见本文,有关SAS的文章 “如何”使用SAS当然也是如此。局限性之一是类比预测仅在您具有良好类比的情况下才起作用,否则您可以依靠判断性预测。这是Forecastpro软件的另一段视频,介绍如何使用Forecastpro之类的工具进行类比预测。选择类比比科学更多的是艺术,并且您需要领域专业知识才能选择类比的产品/情况。

短期或新产品预测的两种出色资源:

  • 阿姆斯特朗的预测原理
  • 卡恩的新产品预测

以下是说明目的,我刚刚读完信号和噪声内特·西尔弗(Nate Silver)的著作,就美国和日本(与美国市场类似)的房地产市场泡沫和预测有一个很好的例子。在下面的图表中,如果您在10个数据点停下来,并使用一种外推方法(指数欺骗/数字/算术...),请查看将您带到何处以及实际到哪里结束。同样,我提供的示例比简单的趋势推断要复杂得多。这只是为了突出使用有限数据点进行趋势推断的风险。另外,如果您的产品具有季节性模式,则必须使用某种形式的类似产品情况进行预测。我读了《商业研究》杂志上的一篇文章,该文章认为,如果您有13周的药品销售时间,那么使用类似产品可以更准确地预测数据。

在此处输入图片说明


感谢您指出其他方法!我同意Nate Silvers的书很棒。
蒂姆

5

观察数量至关重要的假设来自GEP Box关于确定模型的最小样本量的副手评论。就我而言,更细微的回答是,模型识别的问题/质量不仅取决于样本量,还取决于数据中信噪比。如果信噪比很强,则需要的观察次数更少。如果信噪比低,则需要更多样本来识别。如果您的数据集是每月数据并且您有20个值,则无法凭经验确定季节模型,但是,如果您认为数据可能是季节模型,则可以通过指定ar(12)开始建模过程,然后进行模型诊断(显着性检验)以减少或增强您的结构缺陷模型


5

对于非常有限的数据,我将更倾向于使用贝叶斯技术来拟合数据。

在处理贝叶斯时间序列模型时,平稳性可能会有些棘手。一种选择是对参数施加约束。或者,你不能。如果您只想查看参数的分布,那就很好。但是,如果要生成后验预测,则可能会有很多爆炸的预测。

Stan文档提供了一些示例,其中他们对时间序列模型的参数施加了约束以确保平稳性。对于他们使用的相对简单的模型,这是可能的,但是在更复杂的时间序列模型中,这几乎是不可能的。如果您确实想增强平稳性,则可以使用Metropolis-Hastings算法,并丢弃任何不合适的系数。但是,这需要计算许多特征值,这会使事情变慢。


0

您明智地指出的问题是由基于列表的固定过程导致的“过度拟合”。一种明智的方法是在数据量可忽略时尝试使方程式保持简单。我发现许多月后,如果您仅使用AR(1)模型并保留对数据的适应率(ar系数),则可以很好地解决问题。例如,如果估计的ar系数接近零,则意味着总体均值将是适当的。如果系数接近+1.0,则表示最后一个值(为常数调整)更为合适;如果系数接近-1.0,则最后一个值的负数(针对常数调整)将是最佳预测。如果系数是其他值,则意味着最近的过去的加权平均值是适当的。

这恰好是AUTOBOX的开始,然后在遇到“少量观察值”时微调估计的参数,从而丢弃异常。

当纯数据驱动的方法可能不适用时,这就是“预测技术”的一个例子。

以下是针对12个数据点开发的自动模型,无需考虑异常情况。在此处输入图片说明在这里有实际/适合和预测,在这里有在此处输入图片说明剩余图在此处输入图片说明

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.