Logistic回归与感知器之间的差异


16

据我了解,具有逻辑S形激活功能的感知器/单层人工神经网络与逻辑回归模型相同。两种模型均由以下方程式给出:

FX=1个1个-Ë-βX

感知器学习算法是在线的且受错误驱动,而逻辑回归的参数可以使用多种批处理算法(包括梯度下降和有限内存BFGS)或在线算法(例如随机梯度下降)来学习。Logistic回归与S型感知器之间是否还有其他区别?经过随机梯度下降训练的逻辑回归器的结果是否应该与感知器相似?


2
看起来这个问题很相似,而且似乎包含了更好的答案:)
拉尔夫·蒂古莫

Answers:


1

您已经提到了重要的区别。因此结果应该相差不大。


1
这不能为问题提供答案。要批评或要求作者澄清,请在其帖子下方发表评论。
西安

1
实际上,我试图回答这两个问题:1)“逻辑回归与S型感知器之间是否还有其他区别?” 和2)“是否应该期望采用随机梯度下降训练的逻辑回归器的结果与感知器相似?”
Michael Dorner'3

7
@MichaelDorner,这是一个合理的位置。您介意将答案扩大一点以使其更清楚吗?
gung-恢复莫妮卡

3

我相信您所缺少的一个不同之处是,逻辑回归会返回原则上的分类概率,而感知器则使用硬边界进行分类。

Wiki上有关多项逻辑回归的文章中提到了这一点。


2

实际上存在很大的实质性差异,这与您提到的技术差异有关。Logistic回归将伯努利分布的平均值的函数建模为线性方程式(该平均值等于伯努利事件的概率p)。通过使用对数链接作为均值(p)的函数,可以分析得出几率的对数(log-odds),并将其用作所谓的广义线性模型的响应。然后,此GLM上的参数估计是一个统计过程,该过程会得出模型参数的p值和置信区间。除了预测之外,这还允许您以因果推论来解释模型。这是线性感知器无法实现的。

Perceptron是逻辑回归的逆向工程过程:代替采用y的对数,它采用wx的逆对数(逻辑)函数,并且既不对模型也不对其参数估计使用概率假设。在线培训将为您提供对模型权重/参数的完全相同的估计,但是由于缺乏p值,置信区间以及潜在的概率模型,您将无法以因果推论来解释它们。

长话短说,逻辑回归是可以执行预测和推断的GLM,而线性感知器可以 只能实现预测(在这种情况下,其性能将与逻辑回归相同)。两者之间的差异也是统计建模和机器学习之间的根本差异。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.