逻辑回归：最大化正阳性-误阳性

我有一个逻辑回归模型（通过弹性网络正则化通过R中的glmnet拟合），并且我想最大化真实肯定和错误肯定之间的差异。为此，请注意以下步骤：

1. 拟合标准逻辑回归模型
2. 使用预测阈值为0.5，确定所有积极预测
3. 为肯定预测的观测值分配权重1，为所有其他权重分配权重0
4. 拟合加权逻辑回归模型

这种方法有什么缺点？解决此问题的正确方法是什么？

希望最大程度地提高正负数之间的差异的原因是由于我的应用程序的设计。作为课堂项目的一部分，我正在在线市场上建立一个自主参与者-如果我的模型预测它可以购买某些东西并以后以更高的价格出售，它就会出价。我想坚持逻辑回归并根据固定成本和单价增量（我在每笔交易中获得或损失相同的金额）输出二进制结果（成功，失败）。误报会伤害我，因为这意味着我买了东西，无法以更高的价格出售。但是，错误的否定并不会伤害我（仅就机会成本而言），因为这仅意味着如果我不购买，但如果我有购买，我就可以赚钱。同样，

我同意0.5的临界值是完全任意的，并且当我在预测阈值上优化了步骤1中的模型时，该模型在真/假阳性之间产生了最大差异，结果接近0.4。我认为这是由于数据的偏斜性质-负数与正数之比约为1：3。

现在，我正在执行以下步骤：

1. 将数据拆分为训练/测试
2. 在训练中拟合模型，在测试集中进行预测并计算真假阳性之间的差异
3. 完全拟合模型，在测试集中进行预测并计算真假阳性之间的差异

尽管训练集是全套的子集，但在步骤3中，正确/错误肯定之间的差异小于在步骤2中。由于我不在乎＃3中的模型是否具有更多的真实负数和更少的虚假负数，因此我可以做些什么而无需更改似然函数本身？

您似乎根本不需要逻辑回归。你说的是“我想最大程度地提高真实肯定和错误肯定之间的差异。” 那是一个很好的目标函数，但不是逻辑回归。让我们看看它是什么。

首先，一些符号。因变量将是$Y_i$：

$$\begin{align} Y_i &= \left\{ \begin{array}{l} 1 \qquad \textrm{Purchase $i$ was profitable}\\ 0 \qquad \textrm{Purchase $i$ was un-profitable} \end{array} \right. \end{align}$$

自变量（用于预测是否应该购买的东西）将是（向量）。您尝试估计的参数将是（向量）。您将在时预测购买。对于观察，您预测当或指标函数。$X_i$$\beta$$X_i\beta>0$$i$$X_i\beta>0$$\mathbf{1}_{X_i\beta>0}=1$

当和时，观察上会出现真正的正数。当且时，会发生对观察误报。您希望找到，它使真实的正数减去错误的正数最大化，或者： $i$$Y_i=1$$\mathbf{1}_{X_i\beta>0}=1$$i$$Y_i=0$$\mathbf{1}_{X_i\beta>0}=1$$\beta$

$$\begin{equation} max_\beta \; \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N (1-Y_i)\cdot\mathbf{1}_{X_i\beta>0} \end{equation}$$

这不是一个用于估计离散响应模型的特别熟悉的目标函数，但是当我对目标函数做一些代数时，请耐心等待：

$$\begin{align} &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N (1-Y_i)\cdot\mathbf{1}_{X_i\beta>0}\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N \mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0}\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N \mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} \\ & \qquad + \sum_{i=1}^N 1 - \sum_{i=1}^N 1 + \sum_{i=1}^N Y_i - \sum_{i=1}^N Y_i\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N (1-Y_i)(1-\mathbf{1}_{X_i\beta>0}) - \sum_{i=1}^N 1 + \sum_{i=1}^N Y_i \\ \end{align}$$

好的，现在请注意，该总和的最后两项不是函数，因此我们可以在最大化中忽略它们。最后，我们刚刚表明，您要解决的问题“最大化正阳性和假阳性之间的差异”与该问题相同： $\beta$

$$\begin{equation} max_\beta \; \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N (1-Y_i)(1-\mathbf{1}_{X_i\beta>0}) \end{equation}$$

现在，这个估算器有了一个名字！它被称为最高分数估算器。这是一种估计离散响应模型参数的非常直观的方法。选择参数以便最大化正确预测的数量。第一项是真实正数，第二项是真实负数。

这是估计（二进制）离散响应模型的一种很好的方法。例如，估计量是一致的。（Manski，1985，Econometrics J）但是，这个估计量有些奇怪。首先，它在小样本中不是唯一的。一旦找到一个可以解决最大值的，那么在您的数据集中做出完全相同的预测的其他也会解决该最大值-因此，无限多个接近您找到的。另外，估计量不是渐近正态的，并且收敛速度比典型的最大似然估计量慢-求根而不是根$\beta$$\beta$$\beta$$N$$N$收敛。（Kim和Pollard，1990，Stat的安）最后，您不能使用自举对其进行推断。（Abrevaya＆Huang，2005，Econometrica）尽管有一些论文使用了这种估算器--- Caudill的《 NCAA篮球锦标赛》中关于预测结果的预测很有趣，《国际预测杂志》，2003年4月，第19版，iss。2，第313-17页。

克服大多数问题的一种估计器是Horowitz的平滑最大得分估计器（Horowitz，1992； Econometrica和Horowitz，2002，计量经济学杂志）。它给出了根一致的，渐近正态的唯一估计量，该估计量适合自举。Horowitz提供示例代码以在其网页上实现其估算器。$N$

这种方法有很多问题，包括：

• 寻求极限的连续概率
• 使用0.5的任意截止
• 假设所有主题的“假阳性”和“假阴性”的成本相同
• 使用非分数的权重
• 使用估计的权重
• 覆盖最大似然估计
• 没有利用最佳贝叶斯决策理论，该理论表明最佳决策是基于全部信息（而不是某物是否超出某物）和效用/损失/成本函数

实现您要描述的内容的最佳方法可能是使用AUC损失函数直接优化逻辑回归参数。Zhou撰写的教科书“诊断医学中的统计方法”描述了这种方法。

AUC（接收器工作特性曲线或ROC下的区域）粗略地解释为随机采样的“案例”具有比“控件”更高的标记值的概率。这是对模型歧视或其正确分类结果的能力的一种度量。ROC是单位平面中的曲线，显示了回归模型中所有可能的标记值（拟合结果）的灵敏度与1-特异性的关系。

通过使用逻辑回归模型的传统公式，

$$\mbox{logit Pr}(Y = 1 | X) = \alpha + \beta X$$

利用模型参数的对数优势比，您可以粗略定义基于AUC的损失函数以获得最佳参数。与基于似然的逻辑回归不同，AUC回归不规则，可以收敛到参数空间中的局部最大值。