为什么逻辑回归是线性分类器？

由于我们正在使用逻辑函数将输入的线性组合转换为非线性输出，因此如何将逻辑回归视为线性分类器？

线性回归就像没有隐藏层的神经网络一样，那么为什么神经网络被认为是非线性分类器而逻辑回归是线性的呢？

logistic classification neural-networks

— 杰克·吐温
source

将“输入的线性组合转换为非线性输出”是线性分类器定义的基本部分。这就把这个问题简化到第二部分，这意味着证明神经网络通常不能表示为线性分类器。

— whuber

@whuber：您如何解释逻辑回归模型可以采用多项式预测变量（例如）以产生非线性决策边界这一事实？那仍然是线性分类器吗？

w_{1} \cdot x_{1}^{2} + w_{2} \cdot x_{2}^{3}

$w_1 \cdot x_1^2 + w_2 \cdot x_2^3$

— stackoverflowuser2010

@Stack“线性分类器”的概念似乎源于线性模型的概念。模型中的“线性”可以采用多种形式，如stats.stackexchange.com/a/148713所述。如果我们接受Wikipedia对线性分类器的表征，那么就给定的“特征”和而言，您的多项式示例将被视为非线性，但对于特征和则将是线性的。这种区别提供了一种利用线性特性的有用方法。

x_{1}

$x_1$

x_{2}

$x_2$

x_{1}^{2}

$x_1^2$

x_{2}^{3}

$x_2^3$

— 嘘

我仍然对这个问题感到困惑，因为逻辑分类器的决策边界是线性的吗？我已经在Coursera上学习了Andrew Ng的机器学习课程，他提到了以下内容：！[在此处输入图片描述 ]（i.stack.imgur.com/gHxfr.png）因此，在我看来，实际上没有人回答取决于决策边界的线性或非线性，这取决于定义为Htheta（X）的假设函数，其中X是输入，而Theta是问题的变量。这对您有意义吗？

— brokensword

Answers:

在预测可以写为因此，可以用来写预测，它是的线性函数。（更确切地说，预测的对数奇数是的线性函数。）

\hat{p} = \frac{1}{1 + e^{- \hat{μ}}}, where \hat{μ} = \hat{θ} \cdot x .

$\hat{p} = \frac{1}{1 + e^{-\hat{\mu}}}, \text{ where } \hat{\mu} = \hat{\theta} \cdot x.$

\hat{μ}

$\hat{\mu}$

x

$x$

x

$x$

相反，没有办法根据的线性函数来总结神经网络的输出，这就是为什么神经网络被称为非线性的原因。 $x$

另外，对于逻辑回归，决策边界是线性的：这是。神经网络的决策边界通常不是线性的。 $\{x:\hat{p} = 0.5\}$ $\hat{\theta} \cdot x = 0$

— 斯蒂芬·瓦格
source

到目前为止，您的回答对我来说是最清晰，最简单的。但是我有点困惑。有人说谓词对数奇数是的线性函数，而其他人说这是的线性函数。所以？！

x

$x$

θ

$\theta$

— 杰克吐温2014年

然后也可以通过您的解释我们可以说神经网络的预测是最后一个隐藏层的激活的线性函数吗？

— 杰克吐温2014年

预测的对数奇数在和中都是线性的。但是通常我们最感兴趣的是对数奇数在是线性的，因为这意味着决策边界在空间中是线性的。

\hat{θ} \cdot x

$\hat{\theta} \cdot x$

\hat{θ}

$\hat{\theta}$

x

$x$

x

$x$

x

$x$

— Stefan Wager 2014年

我一直在使用一个分类器是线性的定义，如果它的决策边界在空间中是线性的。这与中呈线性的预测概率不同（除了琐碎的情况，这是不可能的，因为概率必须在0到1之间）。

x

$x$

x

$x$

— Stefan Wager 2014年

@Pegah我知道这很旧，但是：Logistic回归具有线性决策边界。输出本身当然不是线性的，它的逻辑性。根据一个点落在直线的哪一侧，总输出将分别接近（但永远不会达到）0或1。为了补充Stefan Wagners的答案：最后一句话并不完全正确，当神经网络包含非线性激活或输出函数时，它是非线性的。但是它也可以是线性的（如果未添加非线性）。

— 克里斯（Chris）

正如Stefan Wagner指出的那样，逻辑分类器的决策边界是线性的。（分类器需要输入是线性可分离的。）我想对此进行扩展，以防不明显。

决策边界是x的集合，使得

\frac{1}{1 + e^{- θ \cdot x}} = 0.5

${1 \over {1 + e^{-{\theta \cdot x}}}} = 0.5$

代数一点点表明，这是相当于

1 = e^{- θ \cdot x}

${1 = e^{-{\theta \cdot x}}}$

而且，以双方的自然对数，

0 = - θ \cdot x = - \sum_{i = 0}^{n} θ_{i} x_{i}

$0 = -\theta \cdot x = -\sum\limits_{i=0}^{n} \theta_i x_i$

因此决策边界是线性的。

其原因神经网络判定边界是不是线性的，是因为有2层的神经网络中S形功能的层：一个在每个输出节点的外加sigmoid函数来组合和阈值的每个输出节点的结果。

— 菲尔·博格
source

实际上，只有一个激活层可以得到一个非线性决策边界。请参见带有2层前馈网络的XOR的标准示例。

— 詹姆斯·希尔斯霍恩'18

$C_{0}$ $C_{1}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x)}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x)}$

P (C_{0} | x) = \frac{P (x | C_{0}) P (C_{0})}{P (x | C_{0}) P (C_{0}) + P (x | C_{1}) P (C_{1})} = \frac{1}{1 + \exp (- \log \frac{P (x | C_{0})}{P (x | C_{1})} - \log \frac{P (C_{0})}{P (C_{1})})}

$P(C_{0}|x) = \frac{P(x|C_{0})P(C_{0})}{P(x|C_{0})P(C_{0})+P(x|C_{1})P(C_{1})} = \frac{1}{1+ \exp\left(-\log\frac{P(x|C_{0})}{P(x|C_{1})}-\log \frac{P(C_{0})}{P(C_{1})}\right)}$

1 + e^{ω x}

$1+e^{\omega x}$

P (x | C_{i}) = \exp (\frac{θ_{i} x - b (θ_{i})}{a (ϕ)} + c (x, ϕ))

$P(x|C_{i}) = \exp \left(\frac{\theta_{i} x -b(\theta_{i})}{a(\phi)}+c(x,\phi)\right)$

\log \frac{P (x | C_{0})}{P (x | C_{1})} = [(θ_{0} - θ_{1}) x - b (θ_{0}) + b (θ_{1})] / a (ϕ)

$\log\frac{P(x|C_{0})}{P(x|C_{1})} = \left[ (\theta_{0}-\theta_{1})x - b(\theta_{0})+b(\theta_{1}) \right]/a(\phi)$

注意，我们假设两个分布都属于同一族，并且具有相同的分散参数。但是，在此假设下，逻辑回归可以对整个指数分布族的概率建模。

— 杰姆普克
source