Logistic回归中的排名功能

我使用了Logistic回归。我有六个功能，我想知道此分类器中比其他功能更能影响结果的重要功能。我使用了Information Gain，但似乎并不依赖于所使用的分类器。是否有任何方法可以根据特定的分类器（例如Logistic回归）根据其重要性对特征进行排名？任何帮助将不胜感激。

— 蓝色女孩
source

Logistic回归不是分类器。请重新编写您的问题，以反映逻辑回归是直接的概率估计模型。

— 弗兰克·哈雷尔

除了FrankHarrell提出的观点外，您是否查看了估计系数的

p

$p$ 值？绝对不是对功能进行排名的最佳方法，但它可以为您提供一个起点。

— usεr11852

当然，逻辑回归是在估计概率，而不是对事物进行明确分类，但是谁在乎呢？目的通常是确定最有可能的类，如果这是您要使用的分类器，则将其称为分类器也没有错。

— dsaxton

Answers:

我认为您正在寻找的答案可能是Boruta算法。这是一种包装方法，可以直接在“所有相关性”的意义上衡量要素的重要性，并在R包中实施，它可以绘制出精美的图，例如在y轴上将任何要素的重要性都与y轴进行比较的情况下null在这里以蓝色绘制。这篇博客文章介绍了这种方法，我建议您阅读它作为一个非常清晰的介绍。

— babelproofreader
source

不错的建议（+1）。我认为对于此应用程序来说有些矫kill过正，但仍然是不错的补充。我肯定升值，将在做好

情况。您是否知道将其他分类算法与其他比较研究进行比较？

p >> n

$p >> n$

— usεr11852

@usεr11852不，我没有。我只是在上个星期左右才遇到这个问题。

— babelproofreader

嗯...好吧，Boruta看起来非常有前途，但我一直对出色的新算法持怀疑态度，直到我将它们视为更深入的研究的一部分，并看到它们无法胜任的情况（无免费午餐定理）。

— usεr11852

有趣的想法，但与逻辑回归无关。

— Frank Harrell

“ Boruta是一种功能选择方法，而不是一种功能排名方法”，请参阅程序包主页上的FAQ

— stablefish

要开始了解如何通过重要性对回归模型进行排名，您可以从线性回归开始。在线性回归模型中对变量的重要性进行排名的一种流行方法是将分解为每个变量的贡献。但是由于变量之间的相关性，变量重要性在线性回归中并不简单。请参阅描述PMD方法的文档（Feldman，2005年）[ 3 ]。另一种流行的方法是对顺序求平均（LMG，1980）[ 2 ]。 $R^2$

关于如何对变量进行逻辑回归排序没有太多共识。在[ 1 ] 中对该主题进行了很好的概述，它描述了使用Pseudo- 进行逻辑回归的线性回归相对重要性技术的改编。 $R^2$

在Logistic回归模型中对特征重要性进行排名的常用方法列表如下：

Logistic伪偏相关（使用Pseudo- ） $R^2$
充足性：每个预测变量可以单独解释的完整模型对数似然率的比例
一致性：指示模型区分正响应变量和负响应变量的能力。为每个预测变量构建一个单独的模型，重要性分数是仅基于该预测变量的真实肯定的预测概率。
信息价值：信息价值量化了从预测变量获得的有关结果的信息量。它基于依次对每个预测变量的分析，而不考虑其他预测变量。

参考文献：

— Sandeep S.Sandhu
source

min_{w, b} \sum_{i = 1}^{n} \log (1 + \exp (- y_{i} f_{w, b} (x_{i}))) + λ {‖ w ‖}^{2}

$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda {{\left\| {\bf{w}} \right\|}^2}}$

x_{i}

$x_i$

y_{i}

$y_i$

i

$i$ 从您的训练集中该函数源自所有训练示例的联合似然，这解释了其概率性，即使我们将其用于分类也是如此。在等式中是您的权重向量，您的偏差。我相信您知道是什么。最小化问题中的最后一项是正则化项，除其他事项外，该项控制模型的泛化。

w

$\mathbf{w}$

b

$b$

f_{w, b} (x_{i})

${{f_{w,b}}({x_i})}$

假设您所有的都已归一化，例如通过指定，就很容易看出哪些变量更为重要：那些变量相对于其他变量较大，或者（在负数方面））小于其他。它们对损失的影响最大。 $\mathbf{x}$ $\mathbf{x}$

如果您热衷于寻找真正重要的变量并且在此过程中不介意淘汰一些变量，则可以正则化损失函数： $\ell_1$

min_{w, b} \sum_{i = 1}^{n} \log (1 + \exp (- y_{i} f_{w, b} (x_{i}))) + λ | w |

$\mathop {\min }\limits_{{\bf{w}},b} \sum\limits_{i = 1}^n {\log \left( {1 + \exp \left( { - {y_i}{f_{{\bf{w}},b}}({x_i})} \right)} \right) + \lambda \left| {\bf{w}} \right|}$

导数或正则化器非常简单，因此在此不再赘述。使用这种形式的正则化和适当的会将次要的元素强制为零，而其他元素则不为零。 $\lambda$ $\mathbf{w}$

我希望这有帮助。询问您是否还有其他问题。

— pAt84
source

LR 不是分类方案。在定义效用/成本函数后，任何分类用途都将作为后估计步骤。另外，OP并没有询问最大似然估计的损失。为了提供变量在回归中的相对重要性的证据，非常容易使用引导程序来获得每个预测变量所提供的附加预测信息等级的置信度限制。一个示例出现在《回归建模策略》的第4章中，其在线注释和R代码可在biostat.mc.vanderbilt.edu/RmS#Materials

— Frank

哈雷尔教授，请。显然，我们正在从两个不同的方面着手。您来自统计领域，而我来自机器学习。我尊重您，您的研究和您的职业，但您可以自由制定自己的答案，并让OP决定，他认为哪个是他的问题的最佳答案。我热衷于学习，所以请教我您的学习方法，但不要让我买书。

— pAt84 '16

我只是注意到逻辑回归是由统计学家DR Cox在1958年开发的，当时机器学习还没有出现。同样重要的是要注意，您制定的“损失函数”（也许更好地称为目标函数？）与分类没有任何关系。以及什么暗示您，我在网上可以找到的大量笔记和音频文件以及我所提及的所有信息都花了什么钱？

— 弗兰克·哈雷尔

我都对两个最初的评论都赞成，因为它们都提出了有效的观点。后来评论有点像小的争吵，我...

— usεr11852

PS尝试以更清晰的方式进行表述，优化预测/估算会导致最佳决策，因为效用函数在第二步中应用，并且与预测变量无关。优化预测/估计不会优化分类，反之亦然。优化分类等同于使用一个奇特的效用函数，该函数针对手头的数据集量身定制，可能不适用于新的数据集。真正想要优化分类的人们（不推荐）可以使用一种完全绕过估计/预测的方法。

— Frank Harrell