比较SVM和Logistic回归

有人可以给我一些何时选择SVM或LR的直觉吗？我想了解两者的超平面的优化标准之间有何区别的直觉，其各自的目标如下：

• SVM：尝试使最接近的支持向量之间的裕度最大化
• LR：最大化后类可能性

让我们考虑SVM和LR的线性特征空间。

我已经知道一些差异：

1. SVM是确定性的（但我​​们可以使用Platts模型进行概率评分），而LR是概率性的。
2. 对于内核空间，SVM更快（仅存储支持向量）

线性SVM和逻辑回归通常在实践中具有可比性。如果您有理由相信数据无法线性分离（或者您需要比LR通常可以容忍的异常值更健壮），则可以将SVM与非线性内核一起使用。否则，只需先尝试逻辑回归，然后看看如何使用该简单模型。如果逻辑回归使您失败，请尝试使用带有RBF之类的非线性内核的SVM。

编辑：

好的，让我们谈谈目标函数的来源。

Logistic回归来自广义线性回归。在这种情况下，可以很好地讨论逻辑回归目标函数：https：//stats.stackexchange.com/a/29326/8451

支持向量机算法具有更多的几何动机。而不是假设一个概率模型，我们试图找到一个特定的最优分离超平面，我们在支持向量的上下文中定义“最优性”。尽管线性情况会为我们提供类似的结果，但我们在这里没有类似于在逻辑回归中使用的统计模型的任何东西：实际上，这仅意味着逻辑回归在产生“宽边距”分类器方面做得很好，因为所有SVM都试图这样做（特别是SVM试图“最大化”类之间的余量）。

我稍后会尝试回到这个问题上，并对杂草进行更深入的研究，我只是处于某种中间：p

图像表示SVM和Logistic回归之间的区别以及在哪里使用哪种方法

这张图片来自安德鲁·伍（Andrew NG）的课程：“机器学习”。它可以在第7周末找到：“支持向量机-使用SVM”

• LR给出了校准概率，可以将其解释为决策的置信度。
• LR为我们提供了一个不受限制的，平滑的目标。
• 可以在贝叶斯模型中直接使用LR。
• SVM不会惩罚那些具有足够信心的正确决策的示例。这对于一般化可能是好的。
• SVM具有很好的双重形式，使用内核技巧时可提供稀疏的解决方案（更好的可伸缩性）

查阅Kevin Swersky 的多伦多大学CSC2515支持向量机与Logistic回归。