支持向量回归如何直观地工作？

SVM的所有示例均与分类有关。我不了解如何在回归中使用用于回归的SVM（支持向量回归）。

根据我的理解，SVM可以最大化两个类之间的余量，以找到最佳的超平面。这将如何解决回归问题？

简而言之：最大化裕度通常可以看作是通过最小化（本质上是最小化模型复杂性）来规范化解决方案，这在分类和回归中都可以做到。但在分类的情况下，这最小化的条件下进行的，所有的实施例是该值的条件下，正确和在回归的情况下，分类ÿ的所有实施例中的偏差小于所要求的精度ε从˚F （X ）进行回归。$w$$y$$\epsilon$$f(x)$

为了理解从分类到回归的方式，这有助于了解两种情况如何应用相同的SVM理论将问题表达为凸优化问题。我会尝试将两者放在一起。

（我将忽略松弛变量，这些变量会导致分类错误和超出精度偏差）$\epsilon$

分类

在这种情况下，目标是找到一个函数其中˚F （X ）≥ 1为正例和˚F （X ）≤ - 1为负的例子。在这些条件下，我们要最大化裕度（两个红色条之间的距离），无非就是最小化f ' = w的导数。$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

使余量最大化的直觉是，这将为找到（即我们丢弃例如蓝线）的问题提供了独特的解决方案，并且在这种情况下该解决方案是最通用的，即作为正则化。可以看出，在决策边界（红线和黑线交叉处）周围，分类不确定性最大，而在该区域中选择f （x ）的最小值将产生最通用的解决方案。$f(x)$$f(x)$

$f(x) \geq 1$$f(x) \leq -1$

回归

$f(x)= wx +b$$f(x)$$\epsilon$$y(x)$$|y(x) -f(x)|\leq \epsilon$$epsilon$$f'(x)=w$$w$$w=0$

$|y -f(x)|\leq \epsilon$

结论

两种情况都导致以下问题：

在以下条件下：

• 所有示例均已正确分类（分类）
• $y$$\epsilon$$f(x)$

在用于分类问题的SVM中，我们实际上尝试将类与分隔线（超平面）尽可能地分开，并且与逻辑回归不同，我们从超平面的两侧创建安全边界（逻辑回归和SVM分类之间的区别在于损失函数）。最终，将尽可能远离超平面的不同数据点分开。

在回归问题的SVM中，我们希望拟合模型以预测将来的数量。因此，我们希望数据点（观测）与用于分类的SVM尽可能接近超平面。SVM回归继承自简单回归（如（最小二乘）），区别在于我们定义了超平面两侧的epsilon范围，以使回归函数对误差不敏感，这与支持分类的SVM不同，我们定义了边界以确保制作安全未来的决定（预测）。最终，