如何得出AUC的概率解释？

14

为什么ROC曲线下的面积使分类器（从检索到的预测中）对随机选择的“正”实例进行排序的概率高于（从原始正分类中）随机选择的“正”实例的概率？如何用积分从数学上证明这一说法，使CDF和PDF具有真实的正负类分布？

probability roc auc

— mff
source

2

：我写这这里的一个非常基本的证明madrury.github.io/jekyll/update/statistics/2017/06/21/...

— 马修·特鲁

10

首先，让我们尝试正式定义ROC曲线下的面积。一些假设和定义：

我们有一个概率分类器，输出一个“分数” s（x），其中x是特征，而s是估计概率p（class = 1 | x）的一般递增单调函数。
$f_{k}(s)$ ，其中：= k类分数的pdf，CDF为 $k = \{0, 1\}$ $F_{k}(s)$
将得分s与阈值t进行比较，即可获得新观察值的分类

此外，为了数学上的方便，让我们考虑正类（检测到事件）k = 0，而负k =1。在此设置中，我们可以定义：

召回率（又名敏感性，又称TPR）：（分类为阳性的阳性病例的比例） $F_{0}(t)$
特异性（又名TNR）：（被归类为阴性的阴性病例的比例） $1 - F_{1}(t)$
FPR（又称辐射）：1- TNR = $F_{1}(t)$

ROC曲线就是对曲线。设置中，我们可以在形式上定义的区域中的ROC曲线下：改变变量（ $F_{0}(t)$ $F_{1}(t)$ $v = F_1(s)$

一种 ü C = \int_{0}^{1个} F_{0} （ F_{1个}^{- 1个} （ v ） ） d v

$AUC =\int_{0}^{1} F_{0}(F_{1}^{-1}(v)) dv$

d v = f_{1} (s) d s

$dv = f_{1}(s)ds$ ）：

一种 ü C = \int_{- \infty}^{\infty} F_{0} （ s ） F_{1个} （ s ） d s

$AUC =\int_{ - \infty}^{\infty} F_{0}(s) f_{1}(s)ds$

可以容易地将此公式视为类别0的随机抽取成员的得分低于类别1的随机抽取成员的得分的概率。

该证明来自：https : //pdfs.semanticscholar.org/1fcb/f15898db36990f651c1e5cdc0b405855de2c.pdf

— 阿莱布
source

5

@alebu的答案很好。但是它的表示法是非标准的，对于正类使用0，对负类使用1。以下是标准符号的结果（否定类别为0，肯定类别为1）：

否定类别的分数的Pdf和cdf： $f_0(s)$ 和 $F_0(s)$

阳性班级得分的Pdf和cdf： $f_1(s)$ 和 $F_1(s)$

FPR = $x(s) = 1-F_0(s)$

TPR = $y(s) = 1-F_1(s)$

\begin{aligned} AUC & = \int_{0}^{1个} ÿ （ X ） d X \\ = \int_{0}^{1个} ÿ （ X （ τ ） ） d X （ τ ） \\ = \int_{+ \infty}^{- \infty} ÿ （ τ ） X^{'} （ τ ） d τ \\ = \int_{+ \infty}^{- \infty} （ 1个 - F_{1个} （ τ ） ） （ - F_{0} （ τ ） ） d τ \\ = \int_{- \infty}^{+ \infty} （ 1个 - F_{1个} （ τ ） ） F_{0} （ τ ） d τ \end{aligned}

$\begin{align} \text{AUC} &= \int_0^1 y(x) dx\\ &= \int_0^1 y(x(\tau)) dx(\tau) \\ &= \int_{+\infty}^{-\infty} y(\tau) x'(\tau) d\tau \\ &= \int_{+\infty}^{-\infty} \big( 1-F_1(\tau) \big) \big( -f_0(\tau) \big) d\tau \\ &= \int_{-\infty}^{+\infty} \big( 1-F_1(\tau) \big) f_0(\tau) d\tau \end{align}$

$\tau$

— 黄磊
source

1

$\tau$

$A$
$B$ $A$
$\tau$

$P(A>\tau)$ $P(B>\tau)$

$\tau$ $AUC$

我们得到：

一种 ü C = \int_{0}^{1个} Ť P [R （ X ） d X = \int_{0}^{1个} P （ 一种 > τ （ X ） ） d X

$AUC = \int_0^1 TPR(x)dx = \int_0^1 P(A>\tau(x))dx$

x

$x$

x

$x$

T P R

$TPR$

\begin{matrix} （1） & 一种 ü C = Ë_{X} [P （ 一种 > τ （ X ） ）] \end{matrix}

$AUC = E_x[P(A>\tau(x))] \tag{1}$

x \sim U [0, 1)

$x \sim U[0,1)$

$x$ $FPR$

X = F P [R = P （ 乙 > τ （ X ） ）

$x=FPR = P(B>\tau(x))$

x

$x$

P （ 乙 > τ （ X ） ） 〜 ü

$P(B>\tau(x)) \sim U$

=> P （ 乙 < τ （ X ） ） 〜 （ 1个 - ü ） 〜 ü

$=> P(B<\tau(x)) \sim (1-U) \sim U$

\begin{matrix} （2） & => F_{乙} （ τ （ X ） ） 〜 ü \end{matrix}

$\begin{equation}=> F_B(\tau(x)) \sim U \tag{2}\end{equation}$

$X$ $F_X(Y) \sim U$ $Y \sim X$

F_{X} （ X ） = P （ F_{X} （ X ） < X ） = P （ X < F_{X}^{- 1个} （ X ） ） = F_{X} F_{X}^{- 1个} （ X ） = X

$F_X(X) = P(F_X(x)<X) =P(X<F_X^{-1}(X))=F_XF_X^{-1}(X)=X$

τ （ X ） 〜 乙

$\tau(x) \sim B$

将其代入公式（1），我们得到：

一种 ü C = Ë_{X} （ P （ 一种 > 乙 ） ） = P （ 一种 > 乙 ）

$AUC=E_x(P(A>B))=P(A>B)$

换句话说，曲线下方的面积是随机正样本比随机负样本具有更高分数的概率。

— ryu576
source