当我们在非线性可分离数据上训练线性SVM时会发生什么?


11

当我们针对非线性可分离数据训练基本支持向量机(线性核且无软边距)时,会发生什么?优化问题不可行,那么最小化算法返回什么?

Answers:


11

我认为基本支持向量机意味着严格的支持向量机。因此,让我们回顾一下:

什么是硬保证金SVM

简而言之,我们希望找到一个具有最大余量的超平面,该超平面能够在我们的训练样本空间中正确分离所有观察值。

硬利润支持向量机中的优化问题

根据以上定义,我们需要解决的优化问题是什么?

  1. 最大余量超平面:我们要 max(margin)
  2. 能够正确分离所有观察值:我们需要优化margin并满足约束条件:无样本内错误

当我们在非线性可分离数据上训练线性SVM时会发生什么?

回到您的问题,由于您提到训练数据集不是线性可分离的,因此,通过使用不带特征转换的硬边距SVM,不可能找到满足“无样本误差”的超平面

通常,我们通过二次编程解决SVM优化问题,因为它可以执行带约束的优化任务。如果您使用梯度下降或其他优化算法而又不满足硬边界SVM的约束,则仍应得到结果,但这不是硬边界SVM超平面。

顺便说一下,对于非线性可分离数据,通常我们选择

  • 硬边支持SVM +功能转换
  • 直接使用软容限支持向量机(在实践中,软容限支持向量机通常会获得良好的效果)

感谢您的回答。因此,当数据是非线性可分离的时,例如R或Python中的SVM包不使用二次编程方法?
SVM 2015年

不知道您使用了什么svm库。我使用libsvm,不同的svm工具可能使用不同的svm求解器。寻找更好的svm求解器是另一个研究主题。QP是解决svm的基本方法。
faniaia 2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.