为什么要使用某种预测误差度量（例如MAD），而不是另一种度量度量（例如MSE）？

MAD =平均绝对偏差MSE =均方误差

我已经从各个地方看到了建议，尽管使用了MSE，但仍存在一些不良质量（例如http://www.stat.nus.edu.sg/~staxyc/T12.pdf，其在第8页上指出：“人们普遍认为MAD是比MSE更好的标准。但是，从数学上讲，MSE比MAD更方便。“）

除此之外，还有什么呢？是否有一篇论文彻底分析了各种测量预测误差的方法是否合适的情况？我的Google搜索未显示任何内容。

在/programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde中询问了与此类似的问题，并要求用户张贴在stats.stackexchange.com上，但我认为他们从未这样做过。

要决定使用哪个点预测误差度量，我们需要退后一步。请注意，我们对未来的结果并不完全了解，也永远不会。因此，未来结果遵循概率分布。有些预测方法会显式输出这样的完整分布，而有些则不会-但即使只是隐式，也总是存在。

现在，我们希望对点预测具有良好的误差度量。这样的点预测$F_t$是我们尝试使用单个数字（即所谓的未来密度函数）来总结我们在时间$t$处对未来分布（即预测分布）的了解。然后，错误度量是评估此单个数字摘要的质量的一种方法。

因此，您应该选择一种误差度量，以奖励“好”的（未知，可能是预测的，但可能只是隐式的）未来密度的摘要。

挑战在于，通过不同的功能将不同的错误度量最小化。通过未来分配的预期值将预期的MSE最小化。预期MAD由未来分配的中位数最小化。因此，如果您校准预测以最小化MAE，则点预测将是将来的中位数，而不是将来的预期值，并且如果将来的分配不对称，则预测将有偏差。

这与通常偏斜的计数数据最相关。在极端情况下（比如，服从泊松分布的销售，平均低于$\log 2\approx 0.69$），您的MAE会为一个单位零预测是最低的。有关详细信息，请参见此处或此处或此处。

我在“平均绝对百分比误差（MAPE）的缺点是什么？”中提供了更多信息和说明。该线程考虑了mape，还考虑了其他错误度量，并且包含指向其他相关线程的链接。

最后，要使用哪种错误衡量标准实际上取决于您的预测错误成本，即哪种错误最痛苦。不考虑预测误差的实际含义，任何有关“更好的标准”的讨论基本上是没有意义的。

几年前，预测准确性的度量是预测社区中的一个大话题，并且时不时地出现。Hyndman＆Koehler是一篇非常好的文章，“另一种关于预测准确性的度量”（2006年）。

最后，一种替代方法是计算完整的预测密度，并使用适当的评分规则对其进行评估。

Davydenko和Fildes（2016）解释了使用MAE代替MSE的优势，请参阅第3.1节：

...有些作者（例如Zellner，1986年）认为，我们评估预测所依据的标准应与优化预测所依据的标准相对应。换句话说，如果我们使用某些给定的损失函数来优化估计，则必须使用相同的损失函数进行经验评估，以找出哪种模型更好。

拟合统计模型通常可以在二次损失下提供最佳的预测。例如，当我们拟合线性回归时，就会发生这种情况。如果我们根据统计模型得出的密度预测是对称的，那么在二次损失下的最优预测在线性损失下也是最优的。但是，如果我们通过对数变换稳定方差，然后通过取幂变换回预测，则只有在线性损失下才能获得最优的预测。如果使用其他损失，则必须首先使用统计模型获得密度预测，然后根据特定的损失函数调整估计值（请参见Goodwin，2000年的示例）。

让我们假设我们想对两种方法进行经验比较，并找出哪种方法在对称线性损耗方面更好（因为这种损耗通常在建模中使用）。如果我们只有一个时间序列，那么使用平均绝对误差（MAE）似乎很自然。此外，MAE具有吸引力，因为它易于理解和计算（Hyndman，2006年）。

参考文献

Davydenko，A.，＆Fildes，R.（2016年）。预测误差的措施：严格审查和实用建议。在业务预测中：实际问题和解决方案。约翰·威利父子

$RMSE = \sqrt{MSE}$$MAE = MAD$

其实，

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

$MAE \leq RMSE \leq \sqrt{MAE}$$y_i$$\hat y_i$$\in [0, 1]$

• $e_i$$\leq 1$
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  $n_{wrong}$$e_i \in [0, 1]$$e_i < 1$

如果RMSE接近MAE，则您会有很多小偏差，如果接近其上限，则几乎没有错误的预测。