为什么逻辑回归是线性模型？

24

我想知道为什么逻辑回归称为线性模型。它使用S形函数，该函数不是线性的。那么为什么逻辑回归是线性模型呢？

regression logistic terminology

— 用户名
source

6

的Logit模型

（日志赔率）是线性的参数，但人们不涉及逻辑回归线性，据我所知。你能引用谁说的吗？

π

$\pi$

— gung-恢复莫妮卡

@ gung-ReinstateMonica例如，在第169页的深度学习书中（deeplearningbook.org/contents/mlp.html）。在书中，他们指出“线性模型（例如逻辑回归和线性回归很吸引人.....”），我认为它们的意思是用于逻辑回归的广义线性模型。

— 年轻

33

逻辑回归模型的形式为之所以称为广义线性模型，不是因为响应事件的估计概率是线性的，而是因为估计概率响应的对数是~~预测变量~~参数的线性函数。

l o g i t (p_{i}) = l n (\frac{p_{i}}{1 - p_{i}}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

更一般地，广义线性模型的形式为其中是的预期值给定协变量的响应。

g (μ_{i}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

编辑：谢谢胡夫的更正。

— 施奈尔
source

7

如果要编写“广义线性”而不是“线性”，而要编写参数而不是预测变量，那将是正确的。（许多逻辑回归模型在预测变量中不是线性的。例如，在交互变量中没有交互项的逻辑回归是线性的。）

— whuber

您是正确的，谢谢。我已经更新了答案以反映这一点。

— P Schnell 2014年

Pi在哪儿？

— Aerin

7

$Y=b_0+∑(b_i X_i)+\epsilon$ $Y$

$Y=1$

P (Y = 1) = \frac{1}{1 + e^{- (b_{0} + \sum (b_{i} X_{i}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

— lennon310
source

7

Linear means linear in betas (the coefficients) but no in x's (the independent variables), so as long as your betas are not non-linear, your model is linear.

— Yilun Zhang
source

3

That's true--but unfortunately logistic regression is a generalized linear model and it is not linear in the parameters.

— whuber