Logistic回归和支持向量机之间的区别?


14

我知道逻辑回归可以找到一个将训练样本分开的超平面。我也知道,支持向量机会找到具有最大余量的超平面。

我的问题:逻辑回归(LR)和支持向量机(SVM)之间的区别是,LR找到任何将训练样本分开的超平面,而SVM找到具有最大余量的超平面吗?还是我错了?

注意:记得在LR中,当,逻辑函数给出。如果我们假设作为分类阈值,则是超平面或决策边界。θX=00.50.5θX=0


Answers:


8

如果您在谈论硬SVM,并且这两个类是线性可分离的,那您是对的。LR找到将这两个类分开的任何解决方案。Hard SVM在所有可能的解决方案中找到最大的利润。

如果是软SVM,并且类不能线性分离,则稍加修改就可以了。错误不能为零。LR找到对应于某些误差最小化的超平面。Soft SVM尝试最小化错误(另一个错误),同时通过正则化参数权衡该错误和余量。

两者之间的区别:SVM是一个困难的分类器,而LR是一个概率分类器。SVM稀疏。它(从训练样本中)选择在两个类别之间具有最大区分能力的支持向量。由于它不会在考试时保留其他训练要点,因此我们对这两个课程中的任何一个都不知道如何分配。

我已经解释了在两个类线性可分的情况下LR解决方案(使用IRLS)如何中断以及为什么在这种情况下它不再是概率分类器的原因:https : //stats.stackexchange.com/a/133292/66491


3
逻辑回归优化哪种最小二乘法?LR使用交叉熵作为损失。
Artem Sobolev 2015年

1
仅仅因为逻辑回归使用的IRLS并不意味着最小二乘-IRLS中的权重是参数当前估计的函数,因此优化后的实际函数与最小二乘完全不同。
Glen_b-恢复莫妮卡

总而言之,SVM是LR的改进版本,因为它找到了具有最大marging的超平面,而LR只是找到了(某种随机性?)超平面。您是否同意此概述?
LandonZeKepitelOfGreytBritn
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.