RMSE和MAE可以具有相同的值吗？

我正在实施交叉验证并计算错误度量标准，例如RMSE，$R^2$，MAE，MSE等。

RMSE和MAE可以具有相同的值吗？

是的，理论上。我能想到的最简单的情况是一个数据集，其中所有预测误差（即残差）均精确地为$\pm$ 1。RMSE和MAE将返回相同的值1。一个人也可以构造其他方案，但似乎不太可能。

编辑：感谢@DilipSarwate指出（@ user20160在其出色的回答中进一步阐述），并且仅当所有预测误差的绝对值相同时，才有可能得到此结果。换句话说，在我的示例中，值$\pm$ 1 没什么特别的。其他任何数字都可以代替1。

在某些条件下，平均绝对误差（MAE）可以等于均方误差（MSE）或均方根误差（RMSE），这将在下面显示。这些条件在实践中不太可能发生。

初赛

令$r_i = |y_i - \hat{y}_i|$表示第$i$个数据点的残差的绝对值，令$r = [r_i, \dots, r_n]^T$是一个包含数据集中所有$n$个点的绝对残差的向量。令$\vec{1}$表示$n \times 1$向量，MAE，MSE和RMSE可以写成：

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

微软

将MSE设置为等于MAE并重新排列将得出：

$$(r - \vec{1})^T r = 0 \tag{2}$$

对于所有数据集，MSE和MAE均相等，其中绝对残差可求解上述方程式。两个明显的解决方案是：$r = \vec{0}$（误差为零）和$r = \vec{1}$（残差均为$\pm 1$，如mkt所述）。但是，有无数种解决方案。

我们可以从几何上解释等式$(2)$：LHS是$r-\vec{1}$和$r$的点积。零点积表示正交性。因此，如果从每个绝对残差中减去1，得到的矢量与原始绝对残差正交，则MSE和MAE相等。

此外，通过完成平方，可以将等式$(2)$重写为：

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

该方程描述了一种$n$维球中心在$[\frac{1}{2}, \dots, \frac{1}{2}]^T$，半径为$\frac{1}{2} \sqrt{n}$。当且仅当绝对残差位于该超球面上时，MSE和MAE才相等。

RMSE

将RMSE设置为等于MAE并重新排列将得出：

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

在那里$I$是单位矩阵。解集是零空间的$A$ ; 也就是说，所有$r$的集合，使得$A r = \vec{0}$。要找到零空间，请注意$A$是一个$n \times n$矩阵，对角线元素等于$n-1$，所有其他元素等于$-1$。陈述$A r = \vec{0}$对应于方程式：

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

或者，重新安排事情：

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

也就是说，每个元素$r_i$必须等于其他元素的平均值。满足此要求的唯一方法是使所有元素都相等（此结果也可以通过考虑$A$的特征分解来获得）。因此，解集由所有具有相同条目的非负向量组成：

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

因此，当且仅当所有数据点的残差的绝对值相等时，RMSE和MAE才相等。