Logistic回归和感知器之间有什么区别？

30

我经历安德鲁Ng的讲课笔记机器学习。

这些注释向我们介绍了逻辑回归，然后介绍了感知器。注释在描述Perceptron时说，我们只是更改了用于逻辑回归的阈值函数的定义。之后，我们可以使用Perceptron模型进行分类。

所以我的问题是-如果需要指定此参数，并且我们将Perceptron视为一种分类技术，那么逻辑回归到底是什么？是仅用于获取数据点属于其中一个类别的概率吗？

— 格罗温曼
source

很好的问题，我发现开始对NN进行解释非常重要，尤其是因为NN可能很难理解。考虑我的答案。

— prosti

22

简而言之，逻辑回归具有超出ML中分类器用法的概率含义。我在这里有一些关于逻辑回归的注释。

逻辑回归中的假设基于线性模型提供了二进制结果出现时的不确定性度量。输出在 $0$ 到之间渐近有界 $1$ ，并取决于线性模型，因此，当基础回归线的值为 $0$ ，逻辑方程为 $0.5 = \frac{e^0}{1+e^0}$ ，为分类提供自然的截止点。然而，在实际的结果抛出的概率信息的成本 $h(\Theta^T\bf x) =\frac{e^{\Theta^T \bf x}}{1 +e^{\Theta^T\bf x}}$ ，这往往是有趣的（如贷款违约给定的收入，信用评分，年龄等的概率）。

基于示例和权重之间的点积，感知器分类算法是一个更基本的过程。每当示例被错误分类时，点积的符号就会与训练集中的分类值（ $-1$ 和 $1$ ）不一致。为了更正此问题，将对示例矢量进行权重或系数矢量的迭代添加或减去，以逐步更新其元素：

$d$ $\bf x$

$\displaystyle \sum_{1}^d \theta_i x_i > \text{theshold}$

$h(x) = \text{sign}\big(\displaystyle \sum_{1}^d \theta_i x_i - \text{theshold}\big)$ $1$ $-1$ $0$ $1$

$+ \theta_0$

$h(x) = \text{sign}\big(\displaystyle \sum_0^d \theta_i x_i\big)$ $h(x) = \text{sign}(\theta^T\bf x)$

$\text{sign}(\theta^T\bf x) \neq y_n$ $\Theta$ $\bf x_n$ $y_n$ $y_n$

我一直在研究同一课程的数据集中这两种方法之间的差异，其中两次单独考试的测试结果与大学的最终接受率有关：

$\text{sign}(\cdot)$ $10$

$90\%$

使用的代码在这里。

— 安东尼·帕雷拉达（Antoni Parellada）
source

5

这里可能会引起一些混乱。最初，感知器仅指具有阶跃函数作为传递函数的神经网络。当然，在那种情况下，区别在于逻辑回归使用逻辑函数，感知器使用阶跃函数。通常，两种算法都应产生相同的决策边界（至少对于单个神经元感知器而言）。然而：

与通过逻辑回归得到的参数向量相比，感知器的参数向量可以任意缩放。参数向量的任何缩放都将定义相同的边界，但是通过逻辑回归计算的概率取决于确切的缩放。
阶跃函数的输出当然不能解释为任何可能性。
由于阶跃函数不可微，因此不可能使用用于逻辑回归的相同算法来训练感知器。

在某些情况下，术语“感知器”还用于指使用逻辑函数作为传递函数的神经网络（但是，这与原始术语不一致）。在那种情况下，逻辑回归和“感知器”完全相同。当然，使用感知器可以使用全部使用逻辑传递函数的多个神经元，这在某种程度上与逻辑回归的堆叠有关（不相同，但相似）。

— 丽考
source

2

您可以使用逻辑回归来构建感知器。逻辑回归使用逻辑函数从给定的输入构建输出。Logistic函数产生0到1之间的平滑输出，因此您需要再做一件事以使其成为分类器，这是一个阈值。当然，感知器可以采用其他功能形式构建，而不仅仅是logistic。

y (x_{1}, x_{2} | b) = \frac{e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}{1 + e^{b_{0} + b_{1} x_{1} + b_{2} x_{2}}}

$y(x_1,x_2|b)=\frac{e^{b_0+b_1x_1+b_2x_2}}{1+e^{b_0+b_1x_1+b_2x_2}}$

b_{1}, b_{2}, b_{3}

$b_1,b_2,b_3$

\frac{e^{x}}{1 + e^{x}}

$\frac{e^x}{1+e^x}$

$y(x|b)$ $x$ $b$ $y$ $Y$ $\tilde y=0$ $y(x|b)<Y$ $\tilde y=1$ $y(x|b)\ge Y$

— 阿克萨卡尔族
source

1

他们都通过估计同一逻辑转换模型的参数来应用回归。根据凸函数的属性，参数的值将与您选择估计它们的任何方式相同。引用以前的答案：

Logistic回归将伯努利分布的平均值的函数建模为线性方程式（该平均值等于伯努利事件的概率p）。通过将logit链接用作平均值（p）的函数，可以分析得出几率的对数（log-odds），并将其用作所谓的广义线性模型的响应。除了预测之外，这还允许您以因果推论来解释模型。这是线性感知器无法实现的。

Perceptron采取wx的逆logit（逻辑）函数，并且既不对模型也不对其参数使用概率假设。在线培训将为您提供对模型权重/参数的完全相同的估计，但是由于缺少p值，置信区间以及潜在的概率模型，您将无法以因果推论来解释它们。

— 数码
source

1

$x_1,\ldots, x_N \in \mathbb R^n$ $y_1,\ldots,y_N \in \{-1, 1 \}$ $1$ $x_i$

\begin{aligned} (1) & minimize & \frac{1}{N} \sum_{i = 1}^{N} max (- y_{i} β^{T} x_{i}, 0) . \end{aligned}

$\begin{align} \tag{1}\text{minimize} & \quad \frac{1}{N}\sum_{i=1}^N \max(-y_i\beta^T x_i,0). \end{align}$

β \in R^{n + 1}

$\beta \in \mathbb R^{n+1}$

问题（1）中的目标函数可以写为，其中在一个次梯度是向量每个随机次梯度下降的时期（步长为）扫过训练观测值并且，对于第次观察，执行更新 $\frac{1}{N}\sum_i \ell_i(\beta)$

ℓ_{i} (β) = max (- y_{i} β^{T} x_{i}, 0) .

$\ell_i(\beta) = \max(-y_i \beta^T x_i,0).$

ℓ_{i}

$\ell_i$

β

$\beta$

g = {\begin{cases} 0 & if - y_{i} β^{T} x_{i} \leq 0 (so y_{i} and β^{T} x_{i} have the same sign) \\ - y_{i} x_{i} & otherwise. \end{cases}

$g = \begin{cases} 0 & \quad \text{if } -y_i \beta^T x_i \leq 0 \qquad \text{(so $y_i$ and $\beta^T x_i$ have the same sign)}\\ - y_i x_i & \quad \text{otherwise.} \end{cases}$

t > 0)

$t > 0)$

i

$i$

β \leftarrow β - t g = {\begin{cases} β & if y_{i} and β^{T} x_{i} have the same sign \\ β + t y_{i} x_{i} & otherwise. \end{cases}

$\beta \leftarrow \beta - t g = \begin{cases} \beta & \quad \text{if $y_i$ and $\beta^T x_i$ have the same sign} \\ \beta + t y_i x_i & \quad \text{otherwise.} \end{cases}$ 我们认识到这是感知器算法的迭代（学习率为）。

t

$t$

— 小小
source

0

Ng Andrew使用术语“逻辑回归”作为解决二进制分类问题的模型。

正如您可能在论文中看到的那样，他实际上从未绘制过模型本身。

让我在桶中添加一些细节，以便您可以找到我认为他如何构建讲座的理由。

用于“逻辑回归”的模型是具有自定义输入数量和一个输出范围从0到1的单级感知。

上世纪90年代，人们最欣赏的激活函数是S型激活函数，并且有很好的数学理论作为后备。

这正是Andrew Ng使用的模型，因为该函数的范围是0到1。

也是导数s'(x) = s(x)(1−s(x))，其中s(x)是S型激活函数。

对于误差函数，他使用L2，尽管在某些论文中，他可能为此使用其他函数。

综上所述，在考虑“逻辑回归”时，只需考虑具有S型激活函数，自定义输入数量和单个输出的单层感知。

仅需注意以下几点：S型激活函数没有什么问题，尽管对于浮点算术，ReLU在当今隐藏层中占主导地位，但是在不久的将来，posits（或某些其他算术单元）可能会将S型激活函数放回表中。

个性而言，我将使用带有ReLU功能的简单模型来解释SLP（单层感知器），因为它现在已被广泛使用。

— 普罗斯蒂
source