平均绝对比例误差（MASE）的解释

平均绝对比例误差（MASE）是对预测准确性的一种度量，由 Koehler＆Hyndman（2006）。

其中是实际预测产生的平均绝对误差； 而M A E i n − s a m p $MAE$
是天真预测产生的平均绝对误差（例如，积分I（$MAE_{in-sample, \, naive}$样本内数据计算出）时间序列。$I(1)$

（查看 Koehler＆Hyndman（2006）的文章以获取精确的定义和公式。）

意味着实际的预测确实恶化了样品的比幼稚预测样品一样，在平均绝对误差的条款。因此，如果平均绝对误差是预测准确性的相关度量（取决于当前的问题），则 M A S E > $MASE>1$$MASE>1$表示，如果我们期望超出预期范围，则应放弃实际预测，而采用幼稚的预测样本数据非常类似于样本中的数据（因为我们只知道样本中的幼稚预测执行得很好，而不是样本外）。

题：

作为在此提出一个预测竞争的标杆Hyndsight博客文章。一个明显的基准应该不是 M A S E $MASE=1.38$吗？$MASE=1$

当然，这个问题并不特定于特定的预测竞赛。我希望在更一般的背景下帮助您理解这一点。

我猜：

我看到的唯一合理的解释是，由于结构的变化，天真的预测在样本外的表现要比样本中的表现差得多。然后可能已经太具有挑战性的实现。$MASE<1$

参考文献：

• Hyndman，Rob J.和Anne B. Koehler。“ 另一种方法是对预测准确性的度量。 ”国际预测杂志》 22.4（2006年）：679-688。
• Hyndsight博客文章。

在链接的博客文章中，Rob Hyndman呼吁参加旅游预测竞赛。本质上，博客文章旨在引起人们对相关IJF文章的关注，该文章的非功能化版本已链接到该博客文章中。

您所参考的基准-每月1.38，季度1.43和年度数据2.28-显然得出如下。作者（他们都是专家预测员，并且在IIF中非常活跃-这里没有蛇油销售人员）非常有能力应用标准的预测算法或预测软件，并且他们可能对简单的ARIMA提交不感兴趣。因此，他们去了，并将一些标准方法应用于其数据。为了邀请获奖论文在IJF上发表论文，他们要求对MASE衡量的这些标准方法中的最佳方法进行改进。

因此，您的问题基本上可以归结为：

假设MASE为1时对应的预测超出了样本（通过MAD），与原始的随机游走预测中的样本一样好，为什么ARIMA之类的标准预测方法无法将月度数据提高到1.38？

此处，1.38 MASE来自未修饰版本的表4。这是ARIMA提前1-24个月进行的平均ASE预测。其他标准方法，例如ForecastPro，ETS等，效果甚至更差。

$\exp(t)$用标准方法。这些都不能捕捉到加速趋势（这通常是一件好事-如果您的预测算法经常模拟加速趋势，您可能会大大超出您的标记），并且它们将产生大于1的MASE。其他解释可能就像您说的那样，是不同的结构性突破，例如水平变化或外部影响（例如SARS或9/11），这些不会因非因果基准模型而捕获，但可以通过专用的旅游业预测方法进行建模（尽管使用保留样本中将来的因果关系是一种欺骗。

因此，我想说，尽管查看数据本身，您可能对此还不能说太多。 它们在Kaggle上可用。您最好的选择可能是选择这518个系列，坚持过去的24个月，适应ARIMA系列，计算MASE，挖掘出十个或二十个MASE最差的预测系列，获得一大笔咖啡，看看这些系列并尝试弄清楚是什么使ARIMA模型很难预测它们。

编辑：事实发生后，另一点似乎很明显，但花了我五天的时间-记住MASE的分母是样本内随机游走预测的领先一步，而分子是1-24的平均值提前预报。预测随着范围的增加而恶化也就不足为奇了，因此这可能是MASE为1.38的另一个原因。注意，季节性天真的预测也包含在基准中，并且具有更高的MASE。

不是答案，而是继斯蒂芬·科拉萨（Stephan Kolassa）呼吁“研究这些系列”之后的情节。
卡格勒旅游业1 有518个年度时间序列，我们要为其预测最后四个值：

$5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$$length(y)$。
这3行是518个年度时间序列中最差的10个，中间的10个和最佳的10个。

显然，很难预料到非常短的系列-最上面一行的12 11 7 7 7 ... ...：不足为奇。
（Athanasopoulos，Hyndman，Song和Wu， 《旅游业预测竞赛》 （2011年，第23页）使用了518个年度系列中的112个，但我看不到哪个。）

自2010年以来，是否还有其他更新的时间序列集合值得研究？