比较基于AUROC或准确性的分类器？

11

我有一个二进制分类问题，我在上面试验了不同的分类器：我想比较这些分类器。哪种方法更适合测量AUC或准确性？又为什么呢？

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

machine-learning classification auc

— 新浪网
source

13

正确分类的比例是不正确的评分规则，即通过伪造模型对其进行了优化。我将使用称为Brier分数的二次适当评分规则或一致性概率（在二元情况下，ROC曲线下的面积）。在您的情况下，随机林比SVM更好。 $Y$

— 弗兰克·哈雷尔
source

如果受试者

您的样品中

是所观察到的二元结果和

是“1”，则石南木分数（如果记得）预测概率

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

。由于OP具有二元分类问题

都知道，但你怎么计算

的SVM？

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

@fcop有一种方法可以将SVM的二进制分类预测转换为概率，称为Platt Scaling（en.wikipedia.org/wiki/Platt_scaling）。本质上，而不是计算SVM分类

（

或

）作为

，其中

{\hat{y}}_{i}

$\hat y_i$

= + 1

$= +1$

- 1

$-1$

{\hat{y}}_{i} = s i g n (g (y_{i}, x_{i}))

$\hat y_i = sign(g(y_i,x_i))$

g (y_{i}, x_{i})

$g(y_i,x_i)$ 是溶液到SVM凸二次规划问题，普拉特缩放需要的后勤变换

：

g (y_{i}, x_{i})

$g(y_i,x_i)$

其中

和

是由Platt缩放算法确定的参数。

{\hat{f}}_{i} = P (Y = 1 | x_{i}) = \frac{1}{1 + e x p (A \times g (y_{i}, x_{i}) + B)}

$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$

A

$A$

B

$B$

— 罗伯特·F

8

我认为您绝对应该研究更多指标，而不仅仅是AUC和准确性。

准确性（以及敏感性和特异性）是一个非常简单但有偏见的度量标准，它迫使您查看绝对预测结果，并且不会为主张类概率或排名而开放。它也没有考虑到人口，这会引起误解，因为该模型对人口具有95％的准确率，并且有95％的随机正确率的机会并不是一个好的模型，即使准确性很高。

AUC是断言模型准确性的好指标，而模型准确性与总体类别概率无关。但是，它不会告诉您任何有关概率估计实际值的信息。您可以得到较高的AUC，但概率估计仍然非常不正确。与准确度相比，此指标更具区别性，并且与某些适当的评分规则结合使用时，肯定会为您提供更好的模型，例如，另一篇文章中提到的Brier得分。

尽管本文非常理论化，但您可以在此处获得更正式的证明：AUC：统计上一致且更具区分性的度量，而不是准确性

但是，有一堆好的指标可用。二进制分类概率估计和分类的损失函数：结构和应用是研究适当的评分规则（如Brier评分）的好论文。

另一篇关于断言模型性能的度量标准的有趣论文是评估：从精度，召回率和F度量到ROC，信息性，标记性和相关性等其他良好的性能度量标准，例如信息性。

总而言之，我建议您查看AUC / Gini和Brier得分以断言您对模型的性能，但是根据模型的目标，其他指标可能更适合您的问题。

— 而
source

评估的链接：从精度，召回率和F度量到ROC，知情性，标记性和相关性已

— 消失

如果受试者我您的样品中ö 我 ∈ { 0 ，1 }是所观察到的二元结果和˚F我是“1”，则石南木分数（如果记得）预测概率乙=

i

$i$

o_{i} \in {0, 1}

$o_i \in \{0,1\}$

{\hat{f}}_{i}

$\hat{f}_i$

B = \frac{1}{n} \sum_{i = 1}^{n} ({\hat{f}}_{i} - o_{i})^{2}

$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$

o_{i}

$o_i$

{\hat{f}}_{i}

$\hat{f}_i$

对于只会给您带来结果而不是给您带来可能性的方法，没有brierscore并不是很好。Niether是auc，因为这将告诉您您对预测的排名如何。如果只有结果，您将只在ROC空间中得到一个点，因此给您曲线下方的区域将是三角形。但是它仍然会为您提供一个数字，因此brierscore会有所变化，尽管它或多或少会转化为0-1损失。如果您只有结果，我建议您查看Precision，Recall和Cohen的Kappa，它们是为有结果时设计的指标。

— 而