MEAN胜过ARIMA是不寻常的吗?


37

我最近应用了多种预测方法(MEAN,RWF,ETS,ARIMA和MLP),发现MEAN的表现出奇的好。(均值:所有未来的预测均等于观测值的算术平均值。)在我使用的三个序列中,均值甚至优于ARIMA。

我想知道这是否不寻常?这是否意味着我使用的时间序列很奇怪?还是这表明我设置有误?



@Mehrdad绝对可以在Martingales周围找到一个不错的答案。
shadowtalker 2014年

1
简单方法表现良好是很常见的,尤其是样本外(这很重要)。在短系列影片中,这种效果会更强。如果序列相关性或趋势不多,那么即使序列相对较长,我们也希望均值表现很好。
Glen_b 2014年

Answers:


31

我是一名从业者,既是预测的生产者又是用户,而不是训练有素的统计学家。下面,我通过引用依赖经验证据的研究文章,分享一些关于为什么您的平均预测比ARIMA更好的想法。我会不时地回想一本书,是阿姆斯特朗及其网站《预测原理》一书,我建议这对任何预测者来说都是一本好书,它对外推方法的用法和指导原理提供了深刻的见解。

回答您的第一个问题 -我想知道的是,这是否异常?

有一个称为时间序列和跨部门数据的外推一章,也可以在同一网站上免费获得。以下是本章的引言

“例如,在实时M2竞争中,它检查了29个月度序列,Box-Jenkins被证明是最不准确的方法之一,其总体中位数误差比天真的预测大17%”

关于为什么您的平均预测要比ARIMA模型更好的有经验证据。

在经验竞赛和第三次M3竞赛中也进行了逐项研究,结果表明Box-Jenkins ARIMA方法无法产生准确的预测,并且缺乏证据表明其在单变量趋势外推法中表现更好。

在同一网站上,还有Greene和Armstrong撰写的另一篇论文和一项正在进行的研究,名为“ 简单预测:避免就寝前流泪 ”。该论文的作者总结如下:

我们总共确定了29篇论文,其中包含94种形式的正式比较,这些形式比较了复杂方法与简单方法(但并非在所有情况下都是复杂方法)的预测准确性。83%的比较发现,简单方法的预测比复杂方法的预测更准确或相似。在提供误差比较的21项研究中,平均而言,复杂方法的预测误差比简单方法的预测误差大32%。

要回答您的第三个问题:这是否表明我设置有误?不,我将ARIMA视为复杂的方法,将均值预测视为简单的方法。有充分的证据表明,诸如均值预测之类的简单方法要优于诸如ARIMA之类的复杂方法。

回答第二个问题:这是否意味着我使用的时间序列很奇怪?

以下是我认为是现实世界的预测专家:

  • Makridakis(关于预测的先验经验竞赛,称为M,M2和M3,为基于证据的预测方法铺平了道路)
  • 阿姆斯特朗(以有关预测实践的书籍/文章的形式提供有价值的见解)
  • Gardner(发明的阻尼趋势指数平滑法,另一种简单的方法与ARIMA相比效果很好)

上述所有研究人员都主张,简单(方法类似于您的平均预测)与复杂方法(如ARIMA)相比。因此,您应该对自己的预测很好感到满意,并且总是基于经验证据而倾向于简单而不是复杂。这些研究人员都为应用预测领域做出了巨大贡献。

除了Stephan的简单预测方法列表之外。还有另一种称为Theta预测方法的方法,这是一种非常简单的方法(基本上是简单的指数平滑,其漂移等于线性回归斜率的1/2),我会将其添加到您的工具箱中。Forecast package in R实现此方法。


2
我真的很喜欢您提供的关于预测的观点以及为支持该观点而提供的证据,但是此答案的要素令人反感,因为它们读起来像是对“统计学家”或正式的统计培训的之以鼻,而且完全是错误的。例如,马克里达基斯(Makridakis)的高级学位是(猜测是什么?)统计数据,这就是他所教的内容,也是他的工作。
ub

1
知道了,我将其删除。我试图指出,基于证据的方法的重大进步来自非统计学家。但我认为您可能会遇到这样的问题
预测者


FWIW,他的LinkedIn页面,可呈现保持-同时列出了他的博士学位在统计数据。但是这种说法是没有意义的:声称某人不是统计学家,因为他们的学位可能不是专门针对统计学的,这没有什么价值,而且不在本文的重点之列。(直到最近,大多数从事统计学工作的人都获得了其他领域的学位,因为几乎没有统计学课程可用。)
whuber

2
+1。但是,您写道:“有证据表明为什么您的平均预测要比ARIMA模型更好。” -不,这只是告诉我们的是平均值为更好的(在此特定情况下),不为什么。我会扭转论点,将举证责任放在ARIMA和其他模型上。我从未完全理解过为什么数据生成过程应该关心过去针对我的模型的错误,这就是MA所谓的本质模型。我个人认为ARIMA如此受欢迎是因为您可以实际证明诸如单位根数和平稳性之类的东西-并不是因为它预测的很好。
S. Kolassa-恢复莫妮卡2014年

36

这一点也不奇怪。在预测,你经常会发现非常简单的方法,如

  • 总体均值
  • 天真的随机游动(即,最后的观测值用作预测)
  • 季节性随机游走(即一年前的观察)
  • 单指数平滑

胜过更复杂的方法。这就是为什么您应该始终针对这些非常简单的基准测试您的方法的原因。

George Athanosopoulos和Rob Hyndman(该领域的专家)的话:

一些预测方法非常简单并且出奇地有效。

请注意他们如何明确表示将使用一些非常简单的方法作为基准。

实际上,强烈建议他们使用完整的关于预测的免费在线在线教科书

编辑:较好的预测误差度量之一是Hyndman&Koehler的平均绝对标度误差(MASE)(另请参见此处),它可以衡量给定预测对(样本内)天真随机游走预测的改进程度:如果MASE <1,您的预测比样本内随机游走更好。您希望这是一个容易克服的难题,对吗?

不是这样:有时,甚至多个标准的预测方法等ARIMA或ETS最好出将仅产生MASE的1.38,即是更差(外的样品)比(样本内)随机游动的预测。这足以使您在这里产生疑问。(该问题不是该问题的重复,因为MASE将样本外准确性与朴素方法的样本内准确性进行了比较,但对于当前问题也具有启发性。)


1
感谢您接受,但是也许您要等待一天-如果问题已接受答案,那么甚至更少的人会阅读它,更不用说评论或回答了。其他人对此可能有不同的看法。随时接受;-)
S. Kolassa-恢复莫妮卡2014年

对你说的很老实:)我给它一天。谢谢。
安迪T

9
“复杂”是“过度拟合”的近亲。
shadowtalker 2014年

1
+1个不错的答案。如果预测是医学等基于证据的领域,则ARIMA方法将成为历史。
预测者

2
对于我们大多数人而言,不验证高斯假设的简单心思的ARIMA已经是历史,但显然并非所有人!
IrishStat
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.