激励SVM至少有两种方法，但是我将在这里采用更简单的方法。
现在，暂时忘记有关SVM的所有知识，而只关注当前的问题。给您一组点以及来自一些标签（）。现在，我们试图找到2D线，使所有带有标签点都落在该线的一侧，而所有带有标签点都落在另一侧。D={(xi1,xi2,yi)}yi{1,−1}1−1
首先，认识到是2D线，并且表示该线的“一侧”，而表示该线的“另一侧”。线。w0+w1x1+w2x2=0w0+w1x1+w2x2>0w0+w1x1+w2x2<0
从上面可以得出结论，我们想要一些矢量使得
所有点与和对于 [1]的所有点，。瓦特0 + 瓦特1 X 我1 + 瓦特2 X 我2 ≥ 0 X 我Ŷ 我 = 1 瓦特0 + 瓦特1 X 我1 + 瓦特2 X 我2 < 0 X 我y i = − 1[w0,w1,w2]w0+w1xi1+w2xi2≥0xiyi=1w0+w1xi1+w2xi2<0xiyi=−1
让我们假设这样的行确实存在，那么我可以通过以下方式定义分类器：
min|w0|+|w1|+|w2|subject to:w0+w1xi1+w2xi2≥0,∀xi with yi=1w0+w1xi1+w2xi2<0,∀xi with yi=−1
我在上面使用了一个任意的目标函数，我们暂时不在乎使用哪个目标函数。我们只想要一个满足我们的约束。由于我们假设存在一条线，这样我们就可以用该线将两个类分开，因此我们将找到上述优化问题的解决方案。w
上面不是SVM，但是它将为您提供分类器:-)。但是，此分类器可能不是很好。但是，您如何定义一个好的分类器？好的分类器通常是在测试集上表现良好的分类器。理想情况下，您将遍历所有可能将训练数据分开的，并查看其中哪个在测试数据上表现良好。但是，有无限个，所以这是完全没有希望的。相反，我们将考虑一些启发式方法来定义一个好的分类器。一种试探法是，将数据分开的线与所有点都应足够远（即，在点和线之间始终存在间隙或边距）。其中最好的分类器是利润最大的分类器。这就是在SVM中使用的东西。ww
代替的坚持所有点与和对于所有点与，如果我们坚持所有点与和所有点与，那么我们实际上是在坚持点离线很远。与此要求相对应的几何余量为。w0+w1xi1+w2xi2≥0xiyi=1w0+w1xi1+w2xi2<0xiyi=−1w0+w1xi1+w2xi2≥1xiyi=1w0+w1xi1+w2xi2≤−1xiyi=−11∥w∥2
因此，我们得到以下优化问题，
稍微简洁写本的形式是，
这基本上是SVM的基本公式。为了简洁起见，我跳过了很多讨论。希望我仍然能理解大部分想法。
max1∥w∥2subject to:w0+w1xi1+w2xi2≥1,∀xi with yi=1w0+w1xi1+w2xi2≤−1,∀xi with yi=−1
min∥w∥2subject to:yi(w0+w1xi1+w2xi2)≥1,∀i
CVX脚本解决示例问题：
A = [1 2 1; 3 2 1; 2 3 1; 3 3 1; 1 1 1; 2 0 1; 2 1 1; 3 1 1];
b = ones(8, 1);
y = [-1; -1; -1; -1; 1; 1; 1; 1];
Y = repmat(y, 1, 3);
cvx_begin
variable w(3)
minimize norm(w)
subject to
(Y.*A)*w >= b
cvx_end
附录-几何边距
上面我们已经请求我们寻找使得或通常是。您在此处看到的LHS称为功能裕度，因此我们在此处要求的功能裕度为。现在，我们将根据给定的功能裕度要求尝试计算几何裕度。wyi(w0+w1x1+w2x2)≥1yi(w0+wTx)≥1≥1
什么是几何余量？几何裕量是正例中点与负例中点之间的最短距离。现在，上面要求的距离最短的点的功能边距可以大于1。但是，让我们考虑极端情况，即当它们最靠近超平面时，最短点的功能边距完全相等。到1。令是正例上的点是的点，是负例上的点是。现在，当时，和之间的距离将是最短的x+wTx++w0=1x−wTx−+w0=−1x+x−x+−x− 垂直于超平面。
现在，利用以上所有信息，我们将尝试找到，这是几何余量。
∥x+−x−∥2
wTx++w0=1
wTx−+w0=−1
wT(x+−x−)=2
|wT(x+−x−)|=2
∥w∥2∥x+−x−∥2=2
∥x+−x−∥2=2∥w∥2
[1]选择和哪一方实际上并不重要。您只需要与选择的内容保持一致即可。1−1
