如何解释错误措施?


41

我正在Weka中为某个数据集运行分类,并且我注意到,如果我试图预测标称值,则输出将具体显示正确和错误地预测的值。但是,现在我为数字属性运行它,输出为:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441 

我该怎么解释?我已经尝试过搜索每个概念,但由于统计数据完全不在我的专业领域,因此我不太了解。就统计而言,我将非常感谢ELI5类型的答案。

Answers:


52

让我们代表的利益为真值和使用某种算法作为估计值θθθ^

关联告诉你有多少θ是相关的。它给之间的值- 11,其中,0是没有关系,1是非常强的,线性关系和- 1是线性关系的逆(即,的值更大的θ表示的更小的值θ,或反之亦然)。在下面,您将找到一个相关的示例。θθ^11011θθ^

相关示例

(来源:http : //www.mathsisfun.com/data/correlation.html

平均绝对误差为:

MAE=1Ni=1N|θ^iθi|

均方根误差为:

RMSE=1Ni=1N(θ^iθi)2

相对绝对误差

RAE=i=1N|θ^iθi|i=1N|θ¯θi|

θ¯θ

根相对平方误差:

RRSE=i=1N(θ^iθi)2i=1N(θ¯θi)2

θ

MAERMSEMSEθθ^θ

RAERRSEθ(θ¯θi)2|θ¯θi|θθθ

还要检查那些幻灯片


谢谢你的解释!我正在尝试评估各种算法的性能。因此,举例来说,如果我得到其他输出(相关性:0.3044,MAE:10.832,MSE:47.2971,RAE:83.163%,RSE:95.2797%),然后尝试将其与第一个输出进行比较,那么我可以说它执行了更好?
FloIancu 2015年

5
您应该选择具有较大相关性和较小误差估计的模型。如您所见,模型性能有多种衡量指标(而这些衡量指标很少),有时它们给出不同的答案。您几乎永远不会获得“是/否”的答案。如果您了解理论,可以轻松进行模型选择的任务,例如可以检查这些讲座
蒂姆

非常感谢你!我继续将您的答复标记为答案,因为您为我提供了很多帮助!
FloIancu 2015年

1
@Tim平均绝对错误可能应该缩写为MAE :)
Antoine

1
@MewX您正在寻找什么样的参考?它基本上是重新调整后的RMSE。没什么好说的...
蒂姆
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.