我最近应用了多种预测方法(MEAN,RWF,ETS,ARIMA和MLP),发现MEAN的表现出奇的好。(均值:所有未来的预测均等于观测值的算术平均值。)在我使用的三个序列中,均值甚至优于ARIMA。
我想知道这是否不寻常?这是否意味着我使用的时间序列很奇怪?还是这表明我设置有误?
我最近应用了多种预测方法(MEAN,RWF,ETS,ARIMA和MLP),发现MEAN的表现出奇的好。(均值:所有未来的预测均等于观测值的算术平均值。)在我使用的三个序列中,均值甚至优于ARIMA。
我想知道这是否不寻常?这是否意味着我使用的时间序列很奇怪?还是这表明我设置有误?
Answers:
我是一名从业者,既是预测的生产者又是用户,而不是训练有素的统计学家。下面,我通过引用依赖经验证据的研究文章,分享一些关于为什么您的平均预测比ARIMA更好的想法。我会不时地回想一本书,是阿姆斯特朗及其网站的《预测原理》一书,我建议这对任何预测者来说都是一本好书,它对外推方法的用法和指导原理提供了深刻的见解。
回答您的第一个问题 -我想知道的是,这是否异常?
有一个称为时间序列和跨部门数据的外推一章,也可以在同一网站上免费获得。以下是本章的引言
“例如,在实时M2竞争中,它检查了29个月度序列,Box-Jenkins被证明是最不准确的方法之一,其总体中位数误差比天真的预测大17%”
关于为什么您的平均预测要比ARIMA模型更好的有经验证据。
在经验竞赛和第三次M3竞赛中也进行了逐项研究,结果表明Box-Jenkins ARIMA方法无法产生准确的预测,并且缺乏证据表明其在单变量趋势外推法中表现更好。
在同一网站上,还有Greene和Armstrong撰写的另一篇论文和一项正在进行的研究,名为“ 简单预测:避免就寝前流泪 ”。该论文的作者总结如下:
我们总共确定了29篇论文,其中包含94种形式的正式比较,这些形式比较了复杂方法与简单方法(但并非在所有情况下都是复杂方法)的预测准确性。83%的比较发现,简单方法的预测比复杂方法的预测更准确或相似。在提供误差比较的21项研究中,平均而言,复杂方法的预测误差比简单方法的预测误差大32%。
要回答您的第三个问题:这是否表明我设置有误?不,我将ARIMA视为复杂的方法,将均值预测视为简单的方法。有充分的证据表明,诸如均值预测之类的简单方法要优于诸如ARIMA之类的复杂方法。
回答第二个问题:这是否意味着我使用的时间序列很奇怪?
以下是我认为是现实世界的预测专家:
上述所有研究人员都主张,简单(方法类似于您的平均预测)与复杂方法(如ARIMA)相比。因此,您应该对自己的预测很好感到满意,并且总是基于经验证据而倾向于简单而不是复杂。这些研究人员都为应用预测领域做出了巨大贡献。
除了Stephan的简单预测方法列表之外。还有另一种称为Theta预测方法的方法,这是一种非常简单的方法(基本上是简单的指数平滑,其漂移等于线性回归斜率的1/2),我会将其添加到您的工具箱中。Forecast package in R
实现此方法。
这一点也不奇怪。在预测,你很经常会发现非常简单的方法,如
胜过更复杂的方法。这就是为什么您应该始终针对这些非常简单的基准测试您的方法的原因。
George Athanosopoulos和Rob Hyndman(该领域的专家)的话:
一些预测方法非常简单并且出奇地有效。
请注意他们如何明确表示将使用一些非常简单的方法作为基准。
实际上,强烈建议他们使用完整的关于预测的免费在线在线教科书。
编辑:较好的预测误差度量之一是Hyndman&Koehler的平均绝对标度误差(MASE)(另请参见此处),它可以衡量给定预测对(样本内)天真随机游走预测的改进程度:如果MASE <1,您的预测比样本内随机游走更好。您希望这是一个容易克服的难题,对吗?
不是这样:有时,甚至多个标准的预测方法等ARIMA或ETS最好出将仅产生MASE的1.38,即是更差(外的样品)比(样本内)随机游动的预测。这足以使您在这里产生疑问。(该问题不是该问题的重复,因为MASE将样本外准确性与朴素方法的样本内准确性进行了比较,但对于当前问题也具有启发性。)