当我们在非线性可分离数据上训练线性SVM时会发生什么？

当我们针对非线性可分离数据训练基本支持向量机（线性核且无软边距）时，会发生什么？优化问题不可行，那么最小化算法返回什么？

我认为基本支持向量机意味着严格的支持向量机。因此，让我们回顾一下：

什么是硬保证金SVM

简而言之，我们希望找到一个具有最大余量的超平面，该超平面能够在我们的训练样本空间中正确分离所有观察值。

硬利润支持向量机中的优化问题

根据以上定义，我们需要解决的优化问题是什么？

1. 最大余量超平面：我们要 max(margin)
2. 能够正确分离所有观察值：我们需要优化margin并满足约束条件：无样本内错误

当我们在非线性可分离数据上训练线性SVM时会发生什么？

回到您的问题，由于您提到训练数据集不是线性可分离的，因此，通过使用不带特征转换的硬边距SVM，不可能找到满足“无样本误差”的超平面。

通常，我们通过二次编程解决SVM优化问题，因为它可以执行带约束的优化任务。如果您使用梯度下降或其他优化算法而又不满足硬边界SVM的约束，则仍应得到结果，但这不是硬边界SVM超平面。

顺便说一下，对于非线性可分离数据，通常我们选择

• 硬边支持SVM +功能转换
• 直接使用软容限支持向量机（在实践中，软容限支持向量机通常会获得良好的效果）