f-measure是准确性的代名词吗?


11

我了解f量度(基于精度和召回率)是对分类器的准确性的估计。同样,当我们有不平衡的数据集时,f度量优于准确性。我有一个简单的问题(更多是关于使用正确的术语,而不是技术)。我的数据集不平衡,并且在实验中使用了f-measure。我准备写一篇适合机器学习/数据挖掘会议的论文。因此,在这种情况下,我可以准确地同义地指代f度量。例如,我的f值为0.82,那么我可以说我的分类器达到了82%的准确预测吗?


如果使用它,最好引入f度量。在我看来,将两者替代是不正确的。在您的情况下,如果您的准确度是99%,那么无论您使用的f量度是多少,您都会获得99%的准确预测,这可能会导致读者出错。
AdrienNK 2014年

@AdrienNK:99%的准确度并不意味着99%的正确预测,除非测试用例的相对频率与实际应用情况相同。
cbeleites对SX不满意,2014年

我知道@cbeleites是正确的,但是测试用例通常是从同一分布发布的(也许这是我的偏见,因为我很少需要处理不是这种情况的数据)
AdrienNK 2014年

@AdrienNK:我是致力于化学诊断的分析化学家。在不同患者亚群之间,所讨论疾病的流行程度可能在数量级上有所不同。参见例如本文下半部分有关不同PPV的讨论:nature.com/news/2011/110323/full/471428a.html
塞贝利特人对SX不满意,

2
那是一本引人入胜的书,谢谢您引起我的注意。
AdrienNK 2014年

Answers:


13

首先,我发现“准确性”有时会引起误解,因为它涉及不同的事物:

术语“ 用于评估系统或方法的准确度”(我是分析化学家)是指预测的偏差,即它回答了平均预测的良好程度这一问题。

如您所知,有许多不同的性能指标可以回答分类器性能的不同方面。其中之一恰好也被称为准确性。如果您的论文不适合机器学习/分类的读者,我建议您将这种区别弄清楚。即使对于精度的这种更具体的含义,我也会非常清楚地称为“精度”,因为可能还会出现几种处理类不平衡的方法。通常,类不平衡会被忽略,从而导致众所周知的计算。但是,您也可以使用敏感性和特异性的平均值,这可以通过加权平均值来控制类不平衡。TP+TNall cases

所述F-得分通常引入的精确度和召回调和平均值(或阳性预测值和灵敏度)。对于您的问题,我认为将其进一步阐明并简化它会有所帮助:

F=2precisionrecallprecision+recall=2TPall PTPallTTPall P+TPallT=2TP2all PallTTPall Tall PallT+TPall Pall PallT=2 TP2TPall T+TPall P=2 TPall T+all P

最后一个表达式并不是我可以视为一组测试用例的任何内容的一小部分。特别是,在TRUE和POSITIVE情况之间会出现(大量)重叠。这将使我无法将F分数表示为百分比,因为这种暗示意味着一定比例的案件。实际上,我想警告读者,F分数没有这样的解释。


更具体地说,这是措施。F分数可以使用单独的参数进行概括F1
qwr

0

快速回答:

不,F-measure公式不包含TN因子,对检索问题(doc)很有用。

因此,这是(F-measure)评估不平衡数据集或在有检索问题的情况下代替accuracy和的正确方法ROC

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

[ 注意 ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.