对数回归最大化的逻辑回归是否也必然使线性模型的AUC最大化?


13

给定的数据集与二元结果y{0,1}n和一些预测矩阵XRn×p,标准逻辑回归模型估计系数βMLE其最大化二项式可能性。当X是满秩βMLE是独一无二的; 当不存在完美分离时,它是有限的。

这是否最大似然模型还最大化ROC AUC(又名c t-统计),还是存在一些系数估计βAUCβMLE这将获得较高的ROC AUC?如果确实MLE不一定使ROC AUC最大化,那么看这个问题的另一种方式是“是否存在似然最大化的替代方案,它将始终使对数回归的ROC AUC最大化?”

我假设模型在其他方面是相同的:我们不会在X添加或删除预测变量,也不会更改模型规格,并且我假设似然最大化和AUC最大化模型正在使用相同的链接函数。


2
当然如果,例如,一些链接功能产生更好的贴合比Logit模型?除此之外,很好的问题,是否可以将数据生成过程假定为logit。βAUCβMLE
Nutle

好问题,但考虑一下。ROC和AUC用于比较两个不同的模型,因此,如果任何模型的MLE估计的解决方案都是唯一的,则意味着仅当更改当前模型的规格并估计新的模型时,您才能获得不同的AUC。通过MLE建立模型。因此,在这一点上,另一个问题将是:除了适用于同一模型的简单MLE之外,还有其他“更好”的估算方法(最大化算法ecc)吗,这样我得出导致新“更好”的beta的系数的不同估算有较高的AUC?
Fr1

@Nutle正好是一个不同的规范
Fr1

@ Fr1是的,这就是独特的意思。我要在问题中暗示的是“如果MLE有其他替代方法可以实现更高的AUC,该怎么办?” 如果确实存在可以实现更高AUC的不同线性模型(除MLE之外的模型),那么这将很有趣。
Sycorax说要

1
@Sycorax我们还假设什么?:)假设很重要,因为如果我们知道使用链接和变量的真正DGP,则MLE始终是最强大的无偏统计量。
Nutle

Answers:


11

这不是的情况下βMLE=βAUC

为了说明这一点,考虑到AUC可以写成

P(y^1>y^0|y1=1,y0=0)

βMLE

βAUCββMLEβAUC

编辑(将评论移入答案)

xx>6βxxβMLE<0


1
(+1)啊!当然-由于它是关于排序的,因此我们可以任意更改截距,显然必须改变似然值,但是排序必须相同,因为特征系数都没有改变,因此AUC将保持不变。
Sycorax说要

nxn

nnn

xn
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.