平均绝对误差或均方根误差？

为什么要使用均方根误差（RMSE）而不是均方根绝对误差（MAE）？

你好

我一直在研究在计算中产生的误差-我最初将误差计算为均方根标准化平方误差。

仔细观察，我发现平方误差的效果比较小的误差赋予更大的权重，将误差估计偏向奇异的异常值。回想起来，这是显而易见的。

所以我的问题是-在什么情况下，均方根误差比平均绝对误差更适合度量误差？后者对我来说似乎更合适，或者我缺少什么？

为了说明这一点，我在下面附加了一个示例：

散点图显示了两个具有良好相关性的变量，
右边的两个直方图使用标准化的RMSE（顶部）和MAE（底部）绘制了Y（观察到的）和Y（预测的）之间的误差。

在此处输入图片说明

该数据没有明显的异常值，MAE的误差低于RMSE。除了使用MAE之外，是否有任何一种合理的方法来使用一种误差度量来代替另一种误差度量？

— 用户名
source

因为RMSE和MAE是两种不同的误差度量，所以它们之间的数值比较（涉及断言MAE比RMSE“低”）似乎没有意义。这条线必须已经按照某些标准进行了拟合：无论该标准是什么，都必须是错误的相关度量。

— Whuber

该线使用最小二乘法拟合-但图片仅是示例，显示了测量误差的差异。我的真正问题是使用优化器来求解四个功能参数，以某种程度地减少误差（MAE或RMSE）。

— user1665220 2013年

谢谢你的澄清。但是，您究竟对什么错误感兴趣？在错误装配或错误的参数估计？

— Whuber

拟合误差。我有一些给出y的实验室样本，我想使用函数进行预测。我通过最小化观测数据和预测数据之间的拟合误差来优化4个指数的函数。

— user1665220 2013年

在RMSE中，我们考虑项数（n）的根。那是MSE的根除以n的根。MSE的根是可以的，但不是将其除以n，而是将其除以n的根即可得到RMSE。我感觉这将是一项政策。现实将是（MSE的根）/ n。这样MAE会更好。

Answers:

这取决于您的损失功能。在许多情况下，对远离均值的点赋予更多权重是有意义的，也就是说，偏离10的平均值是偏离5的两倍以上。在这种情况下，RMSE是更合适的误差度量。

如果减少10倍只是减少5倍，那么MAE更合适。

无论如何，将RMSE和MAE相互比较是没有意义的，就像您在倒数第二句话中所做的那样（“ MAE的错误率比RMSE低”）。由于MAE的计算方式，它永远不会高于RMSE。仅在与相同的误差度量相比时才有意义：您可以将方法1的RMSE与方法2的RMSE进行比较，或者将方法1的MAE与方法2的MAE进行比较，但是您不能说MAE优于方法的RMSE 1，因为它更小。

— 乔纳森·克里斯滕森
source

我知道MAE永远不会比RMSE高。我一直在使用两种误差估计，并研究值之间的差异以指示异常值的影响。即，当它们接近时，当它们彼此分开时，我会调查以了解发生了什么。最终，我想预测最适合数据的参数，例如9％的错误声音要好于12％-我只是想确保我以正确的理由选择正确的参数。为您的建议

— 加油

RMSE（因此称为MSE）和MAE之间的主要区别不在于它们加权的方式。您可以根据需要使用权重函数。主要区别在于MSE与L2 Space有关（MAE没有这种东西）。因此，例如，当E为反馈信号时，MSE可以测量闭环控制所需的能量（记住信号的均方根，在这种情况下，误差与能量成正比）。同样，很多数学，因此也有像Marquardt-Levenberg这样的算法在这个领域中工作。简而言之，他们使用MSE作为目标函数。

— eulerleibniz

当您要使用（R）MSE而不是MAE时，这是另一种情况：当观测值的条件分布不对称且您想要无偏拟合时。（R）MSE通过条件均值最小化，MAE通过条件中位数最小化。因此，如果使MAE最小化，则拟合将更接近中值且有偏差。

当然，所有这些实际上取决于您的损失功能。

如果您使用MAE或（R）MSE评估预测或预测，则会发生相同的问题。例如，小批量销售数据通常具有不对称分布。如果优化了MAE，您可能会惊讶地发现MAE最佳预测是零平坦预测。

下面是这个覆盖一个小演讲，并在这里是最近的M4预测比赛，我解释这个效应的邀请评论。

— S. Kolassa-恢复莫妮卡
source

+1。比较分布的想法很棒，但是...像您介绍的指标那样的度量标准在诸如此类的指标上会失败N = 1e3; set.seed(1); y = rpois(N, lambda=1); yhat = c(y[2:N],0)吗？预测密度“差异”将是最小的，但实际密度yhat将是无用的。当然，这是一个极端的情况。（我可能会为

— 此事

\hat{y} = 1

$\hat{y}=1$

非常感谢您的澄清；我现在可以更好地概念化演示文稿。（嗯...我毕竟需要掌握你的论文。:)）

— usεr11852'17

@usεr11852：请随时通过电子邮件与我联系（在此处找到地址）-如果您的邮件没有出现在我的垃圾邮件过滤器中，我会很乐意将您的论文发送给您。

— S. Kolassa-恢复莫妮卡

@usεr11852“就像N =“之后，我完全失去了你，那是什么？

— sak

RMSE是描述欧几里得距离损失的一种更自然的方法。因此，如果以3D形式绘制，则损失呈圆锥形，如上面的绿色所示。这也适用于较大的尺寸，尽管很难形象化。

MAE可以看作是街区距离。正如您在图表中以蓝色看到的那样，衡量损失的方法实际上并不那么自然。

— 丹丹
source