逻辑回归实际上是回归算法吗？

11

回归的通常定义（据我所知）是根据给定的一组输入变量预测一个连续的输出变量。

Logistic回归是一种二进制分类算法，因此产生分类输出。

真的是回归算法吗？如果是这样，为什么？

algorithms logistic-regression

— 乔斯
source

23

逻辑回归是最重要的回归。通过添加决策规则，它成为分类器。我将举一个倒退的例子。也就是说，除了要获取数据并拟合模型之外，我将首先从模型开始，以说明这是一个真正的回归问题。

在逻辑回归中，我们正在对事件发生的对数赔率或对数进行建模，该事件是一个连续的数量。如果事件发生的概率为，则赔率是： $A$ $P(A)$

\frac{P （ 一个 ）}{1个 - P （ 一个 ）}

$\frac{P(A)}{1 - P(A)}$

那么，对数赔率是：

日志 （ \frac{P （ 一个 ）}{1个 - P （ 一个 ）} ）

$\log \left( \frac{P(A)}{1 - P(A)}\right)$

与线性回归一样，我们使用系数和预测变量的线性组合对此建模：

Logit = b_{0} + b_{1个} X_{1个} + b_{2} X_{2} + \dots

$\operatorname{logit} = b_0 + b_1x_1 + b_2x_2 + \cdots$

想象一下，我们得到一个人是否发白的模型。我们的模型使用年龄作为唯一的预测因子。在这里，我们的事件A =一个白发的人：

白发的对数赔率= -10 + 0.25 *年龄

...回归！这是一些Python代码和图表：

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
import seaborn as sns

x = np.linspace(0, 100, 100)

def log_odds(x):
    return -10 + .25 * x

plt.plot(x, log_odds(x))
plt.xlabel("age")
plt.ylabel("log odds of gray hair")

我们的玩具示例的对数赔率图

$P(A)$

P （ 一个 ） = \frac{1个}{1个 + 经验值 （ - 对数赔率 ） ）}

$P(A) = \frac1{1 + \exp(-\text{log odds}))}$

这是代码：

plt.plot(x, 1 / (1 + np.exp(-log_odds(x))))
plt.xlabel("age")
plt.ylabel("probability of gray hair")

我们的玩具示例中的白发概率图

$P(A) > 0.5$

在更现实的示例中，逻辑回归也可以很好地用作分类器，但是在成为分类器之前，它必须是一种回归技术！

— 本
source

尽管在实践中人们使用逻辑回归作为逻辑回归+二元分类器的同义词。

— jinawee

10

简短答案

是的，逻辑回归是一种回归算法，它确实可以预测连续的结果：事件的概率。我们将其用作二进制分类器是由于对结果的解释。

详情

Logistic回归是广义线性回归模型的一种。

在普通的线性回归模型中，将连续结果y建模为预测变量及其效果的乘积之和：

y = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

e错误在哪里。

广义线性模型不y直接建模。相反，他们使用转换将域扩展y到所有实数。这种转换称为链接功能。对于逻辑回归，链接函数是logit函数（通常，请参见下面的注释）。

logit函数定义为

ln(y/(1 + y))

因此，逻辑回归的形式为：

ln(y/(1 + y)) = b_0 + b_1 * x_1 + b_2 * x_2 + ... b_n * x_n + e

y事件发生的概率在哪里。

我们将其用作二进制分类器的事实是由于对结果的解释。

注意：probit是用于逻辑回归的另一个链接函数，但是logit是使用最广泛的。

— 克里斯托弗·洛登（Christopher Louden）
source

1

当您讨论回归的定义时，就是在预测连续变量。Logistic回归是二元分类器。Logistic回归是在通常的回归方法的输出上应用logit函数。Logit函数将（-inf，+ inf）变为[0,1]。我认为保留该名称只是出于历史原因。

这样说：“我做了一些回归来对图像进行分类。特别是我使用了逻辑回归。” 是错的。

— ilia
source

2

Logistic回归可以用作二进制分类器，但并不是天生的分类器。您可能会用它来估计几率或确定预测变量与结果的关系。

— MattBagg 2014年

0

简单地说就是任何假设功能 $f$ 使回归算法，如果 $f:X\rightarrow \mathbb{R}$ 。因此，物流功能是 $P(Y=1|\lambda, x)=\dfrac{1}{1+e^{-\lambda^Tx}} \in [0,1]$ 使回归算法。这里 $\lambda$ 是从经过训练的数据集中找到的系数或超平面＆ $x$ 是一个数据点。这里， $sign(P(Y=1|\lambda, x))$ 被当作课。

— 西格玛先生。
source