线性回归和逻辑回归之间有什么区别？

122

线性回归和逻辑回归之间有什么区别？

您什么时候使用？

regression logistic linear-model

— B七
source

在线性回归模型中，因变量被认为是连续的，而在逻辑回归中，它是分类的，即离散的。在应用程序中，前者用于回归设置，而后者则用于二进制分类或多类分类（在这里被称为多项逻辑回归）。

y

$y$

— 帕迪斯

尽管是在不同的上下文中编写的，但它可能会帮助您在此处阅读我的答案：logit模型和概率模型之间的差异，其中包含有关logistic回归中发生的事情的大量信息，可以帮助您更好地理解这些信息。

— gung

先前的所有答案都是正确的，但是即使您的结果是二分法，您也可能会倾向于线性回归模型，这是有原因的。我在这里写过这些原因的资料：statisticalhorizons.com/linear-vs-logistic

— Paul von Hippel，2015年

Answers:

111

线性回归使用一般线性方程其中是连续因变量和自变量是通常连续的（但是当线性模型在叔使用也可以是二元的，例如测试）或其他离散域。是模型未解释的方差术语，通常仅称为“错误”。可以通过稍微修改等式来解决由表示的各个相关值： $Y=b_0+∑(b_i X_i)+\epsilon$ $Y$ $X_i$ $\epsilon$ $Y_j$ $Y_j=b_0 + \sum{(b_i X_{ij})+\epsilon_j}$

Logistic回归是另一种使用相同基本公式的广义线性模型（GLM）程序，但它不是连续而是针对分类结果的概率进行回归。以最简单的形式，这意味着我们只考虑一个结果变量和该变量的两个状态-0或1。 $Y$

的概率方程如下： $Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

您的自变量可以是连续的或二进制的。可以对回归系数取幂，以得出每变化一次几率变化，即，和。被称为赔率，。用英语讲，您可以说的几率在每单位变化增加倍。 $X_i$ $b_i$ $Y$ $X_i$ $Odds={P(Y=1) \over P(Y=0)}={P(Y=1) \over 1-P(Y=1)}$ ${\Delta Odds}= e^{b_i}$ $\Delta Odds$ $Odds(X_i+1)\over Odds(X_i)$ $Y=1$ $e^{b_i}$ $X_i$

示例：如果您想查看体重指数如何预测血液胆固醇（一种连续测量），则可以使用我的答案顶部所述的线性回归。如果您想了解BMI如何预测成为糖尿病（二元诊断）的几率，则可以使用逻辑回归。

— DocBuckets
source

这看起来是一个很好的答案，但是您能否解释含义，尤其是为什么将它们包括在总和中？（无论如何，总和是什么？）

ϵ_{i}

$\epsilon_i$

— 呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜呜把把把

在我看来Bill打算写ie（拉丁文缩写是）而不是ei

— Michael Chernick，2012年

但是，指数求和中的εi不应该存在。看起来模型中的噪声项是偶然带到那里的。唯一的求和应该在表示p个协变量的p个系数的bis上。

— Michael Chernick

表达式中有错误。您应该让而不是逻辑回归模型中的随机性来自以下事实：这些是beronulli试验，而不是成功概率存在错误（这是如何你写的）。

P (Y = 1)

$P(Y=1)$

P (Y = 1) = \frac{1}{1 + \exp {- X β}},

$P(Y=1) = \frac{1}{1 + \exp \{-X \boldsymbol{\beta} \} },$

P (Y = 1) = \frac{1}{1 + \exp {- (X β + ε)}}

$P(Y=1) = \frac{1}{1 + \exp \{ -(X \boldsymbol{\beta}+\varepsilon) \} }$

— 2012年

@samthebrand逻辑回归本身不是二进制的。它可以用于将数据通过，范围0〜1之间要耍赖堵塞概率二元响应模型我的博客文章在这其中应清理你的困惑。

— 奔

线性回归用于建立因变量和自变量之间的关系，这在估计自变量发生变化时可用于估计结果因变量。例如：

使用线性回归，发现Rain（R）与雨伞销量（U）之间的关系为-U = 2R + 5000

这个方程式表明，每1mm的雨量，就需要5002把雨伞。因此，使用简单回归，您可以估算变量的值。

另一方面，逻辑回归用于确定事件的概率。并且此事件以二进制格式（即0或1）捕获。

示例-我想确定客户是否会购买我的产品。为此，我将对（相关）数据运行Logistic回归，而我的因变量将是一个二进制变量（1 =是； 0 =否）。

在图形表示方面，一旦将值绘制在图形上，线性回归就会给出一条线性线作为输出。而Logistic回归给出了S型线

来自Mohit Khurana的参考。

— 维杰·拉姆（Vijay Ram）
source

回复：“线性回归用于在因变量和独立变量之间建立关系” –关于逻辑回归也是如此-只是因变量是二进制。

— Macro

Logistic回归不仅用于预测二进制事件（类）。可以将其推广到类（多项逻辑回归）

2

$2$

k

$k$

— tgy

差异已由DocBuckets和Pardis解决，但我想添加一种比较未提及的性能的方法。

线性回归通常通过最小化模型对数据的最小二乘误差来解决，因此对大误差进行二次惩罚。Logistic回归正好相反。使用逻辑损失函数会导致将较大的误差惩罚为渐近常数。

考虑对分类的{0,1}结果进行线性回归，以了解为什么这是一个问题。如果您的模型在真值为1时预测结果为38，那么您什么也不会损失。线性回归将尝试减少38，而后勤则不会（尽可能）。

— J·亚伯拉罕森
source

那么，在物流中受到惩罚的情况/案例，即在什么情况下我们不适合？

— MSIS

恰恰相反：只要拟合的较大偏差确实导致较差的结果。例如，逻辑回归擅长让您击中飞镖，但不能使靶心看起来不错。或者，类似地，认为董事会的险恶与坚持邻居相同。

— J. Abrahamson

好答案。是否进行了任何研究，对模型的性能有多大影响？我的意思是，如果使用线性回归来预测响应= {0,1}，而不是逻辑回归。

— 塔加