逻辑回归实际上是回归算法吗?


11

回归的通常定义(据我所知)是根据给定的一组输入变量预测一个连续的输出变量

Logistic回归是一种二进制分类算法,因此产生分类输出。

真的是回归算法吗?如果是这样,为什么?

Answers:


23

逻辑回归是最重要的回归。通过添加决策规则,它成为分类器。我将举一个倒退的例子。也就是说,除了要获取数据并拟合模型之外,我将首先从模型开始,以说明这是一个真正的回归问题。

在逻辑回归中,我们正在对事件发生的对数赔率或对数进行建模,该事件是一个连续的数量。如果事件发生的概率为P A ,则赔率是:一个P一个

P一个1个-P一个

那么,对数赔率是:

日志P一个1个-P一个

与线性回归一样,我们使用系数和预测变量的线性组合对此建模:

Logit=b0+b1个X1个+b2X2+

想象一下,我们得到一个人是否发白的模型。我们的模型使用年龄作为唯一的预测因子。在这里,我们的事件A =一个白发的人:

白发的对数赔率= -10 + 0.25 *年龄

...回归!这是一些Python代码和图表:

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

x = np.linspace(0, 100, 100)

def log_odds(x):
    return -10 + .25 * x

plt.plot(x, log_odds(x))
plt.xlabel("age")
plt.ylabel("log odds of gray hair")

我们的玩具示例的对数赔率图

P一个

P一个=1个1个+经验值-对数赔率

这是代码:

plt.plot(x, 1 / (1 + np.exp(-log_odds(x))))
plt.xlabel("age")
plt.ylabel("probability of gray hair")

我们的玩具示例中的白发概率图

P一个>0.5

在更现实的示例中,逻辑回归也可以很好地用作分类器,但是在成为分类器之前,它必须是一种回归技术!


尽管在实践中人们使用逻辑回归作为逻辑回归+二元分类器的同义词。
jinawee

10

简短答案

是的,逻辑回归是一种回归算法,它确实可以预测连续的结果:事件的概率。我们将其用作二进制分类器是由于对结果的解释。

详情

Logistic回归是广义线性回归模型的一种。

在普通的线性回归模型中,将连续结果y建模为预测变量及其效果的乘积之和:

y = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

e错误在哪里。

广义线性模型不y直接建模。相反,他们使用转换将域扩展y到所有实数。这种转换称为链接功能。对于逻辑回归,链接函数是logit函数(通常,请参见下面的注释)。

logit函数定义为

ln(y/(1 + y))

因此,逻辑回归的形式为:

ln(y/(1 + y)) = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

y事件发生的概率在哪里。

我们将其用作二进制分类器的事实是由于对结果的解释。

注意:probit是用于逻辑回归的另一个链接函数,但是logit是使用最广泛的。


1

当您讨论回归的定义时,就是在预测连续变量。Logistic回归是二元分类器。Logistic回归是在通常的回归方法的输出上应用logit函数。Logit函数将(-inf,+ inf)变为[0,1]。我认为保留该名称只是出于历史原因。

这样说:“我做了一些回归来对图像进行分类。特别是我使用了逻辑回归。” 是错的。


2
Logistic回归可以用作二进制分类器,但并不是天生的分类器。您可能会用它来估计几率或确定预测变量与结果的关系。
MattBagg 2014年

0

简单地说就是任何假设功能 F 使回归算法,如果 FX[R。因此,物流功能是Pÿ=1个|λX=1个1个+Ë-λŤX[01个]使回归算法。这里λ 是从经过训练的数据集中找到的系数或超平面& X是一个数据点。这里,s一世GñPÿ=1个|λX 被当作​​课。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.