108

如何做一个支持向量机（SVM）的工作，并从什么其它线性分类，比如区分其线性感知器，线性判别分析，或Logistic回归？*

（* 我在考虑算法的基本动机，优化策略，泛化能力和运行时复杂性）

— tdc
source

4

另请参见：stats.stackexchange.com/questions/3947/…– 2012

又见stats.stackexchange.com/questions/80398/...

126

支持向量机仅关注最难以区分的点，而其他分类器则关注所有点。

支持向量机方法的直觉是，如果分类器擅长进行最具挑战性的比较（图2中的B和A中的点彼此最接近），则分类器在进行简单比较时会更好（比较B和A中彼此远离的点）。

感知器和其他分类器：

通过一次获取一个点并相应地调整分界线来构建感知器。一旦所有点都分离，感知器算法就会停止。但是它可能会停在任何地方。图1显示了将数据分开的一堆不同的分隔线。感知器的停止标准很简单：“分离点并在达到100％分离时停止改进线”。没有明确告知感知器找到最佳分隔线。逻辑回归和线性判别模型的构建与感知器相似。

最佳分界线可以使最接近A的B点和最接近B的A点之间的距离最大化。这样做无需查看所有点。实际上，合并来自较远点的反馈可能会使直线偏离得太远，如下所示。

在此处输入图片说明

支持向量机：

与其他分类器不同，支持向量机被明确告知要找到最佳分隔线。怎么样？支持向量机搜索最接近的点（图2），将其称为“支持向量”（之所以称为“支持向量机”，是因为这样的事实：点就像向量，而最佳线“取决于”或由最接近的点“支持”。

找到最接近的点后，SVM会绘制一条连接它们的线（请参见图2中标记为“ w”的线）。通过进行矢量减法（点A-点B）来绘制此连接线。然后，支持向量机将最佳分隔线声明为将连接线平分（且垂直于）的线。

支持向量机更好，因为当您获得一个新样本（新点）时，您已经制作了一条线，使B和A彼此保持尽可能远的距离，因此不太可能溢出线进入对方的领土。

在此处输入图片说明

我认为自己是视觉学习者，并且在很长一段时间内都在支持向量机背后的直觉上作斗争。SVM分类器中名为对偶和几何的论文终于帮助我看到了光。那是我从那里得到图像的地方。

— 瑞安·佐蒂（Ryan Zotti）
source

4

+1来自另一个视觉学习者！对于读者来说，我想指出的是，上图中明显的边界是基于已经转换的数据集。不是原始数据集。

— 金兹

读svm已有两年多的时间，今天了解了如何识别分隔线以及几件事。感谢您的明确答复。

— user123

53

Ryan Zotti的答案解释了最大化决策边界的动机，carlosdc的答案与其他分类器相比有一些相似之处和不同之处。我将在此答案中简要介绍如何训练和使用SVM。

记号

在下文中，标量以斜体小写字母表示（例如 $y,\, b$ ），带有粗体小写字母的向量（例如 $\mathbf{w},\, \mathbf{x}$ ）以及带有斜体大写字母（例如 $W$ ）的矩阵。 $\mathbf{w^T}$ 是的转置 $\mathbf{w}$ ，和 $\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$ 。

让：

$\mathbf{x}$ 是特征向量（即SVM的输入）。 $\mathbf{x} \in \mathbb{R}^n$ ，其中 $n$ 是特征矢量的维数。
$y$ 是类（即SVM的输出）。，即分类任务是二进制的。 $y \in \{ -1,1\}$
$\mathbf{w}$ 和是SVM的参数：我们需要使用训练集来学习它们。 $b$
$(\mathbf{x}^{(i)}, y^{(i)})$ 是数据集中的样本。假设我们在训练集中有样本。 $i^ {\text {th}}$ $N$

在，可以表示SVM的决策边界，如下所示： $n=2$

类别的确定如下： $y$

y^{(i)} = {\begin{cases} - 1 & if w^{T} x^{(i)} + b \leq - 1 \\ 1 & if w^{T} x^{(i)} + b \geq 1 \end{cases}

$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$

可以更简洁地写为。 $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

目标

SVM旨在满足两个要求：

SVM应该最大化两个决策边界之间的距离。从数学上讲，这意味着我们希望最大化定义的超平面与定义的超平面之间的距离。该距离等于。这意味着我们要解决。等效地，我们想要。 $\mathbf{w^T}\mathbf{x}+b = -1$ $\mathbf{w^T}\mathbf{x}+b = 1$ $\frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$
SVM还应该正确地对所有，这意味着 $\mathbf{x}^{(i)}$ $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

这导致我们遇到以下二次优化问题：

\begin{aligned} \underset{w ， b}{分} & \frac{‖ w ‖}{2} ， \\ s 。 Ť 。 & ÿ^{（ 一世 ）} （ w^{Ť} X^{（ 一世 ）} + b ） \geq 1个 & \forall 一世 \in {1个 ， \dots ， ñ} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$

这是硬利润的SVM，因为这个二次优化问题允许解决方案，前提是数据是线性可分离的。

通过引入所谓的松弛变量 可以放宽约束。请注意，训练集的每个样本都有其自己的松弛变量。这给我们带来了以下二次优化问题： $\xi^{(i)}$

\begin{aligned} \underset{w ， b}{分} & \frac{‖ w ‖}{2} + C \sum_{一世 = 1个}^{ñ} ξ^{（ 一世 ）} ， \\ s 。 Ť 。 & ÿ^{（ 一世 ）} （ w^{Ť} X^{（ 一世 ）} + b ） \geq 1个 - ξ^{（ 一世 ）} ， & \forall 一世 \in {1个 ， \dots ， ñ} \\ ξ^{（ 一世 ）} \geq 0 ， & \forall 一世 \in {1个 ， \dots ， ñ} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

这是软边距SVM。是一个超参数，称为误差项的惩罚。（C对具有线性核的SVM的影响是什么？以及确定SVM最佳参数的搜索范围？）。 $C$

通过引入将原始要素空间映射到更高维度的要素空间的函数，可以增加更多的灵活性。这允许非线性决策边界。二次优化问题变为： $\phi$

\begin{aligned} \underset{w ， b}{分} & \frac{‖ w ‖}{2} + C \sum_{一世 = 1个}^{ñ} ξ^{（ 一世 ）} ， \\ s 。 Ť 。 & ÿ^{（ 一世 ）} （ w^{Ť} ϕ （ X^{（ 一世 ）} ） + b ） \geq 1个 - ξ^{（ 一世 ）} ， & \forall 一世 \in {1个 ， \dots ， ñ} \\ ξ^{（ 一世 ）} \geq 0 ， & \forall 一世 \in {1个 ， \dots ， ñ} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

优化

二次优化问题可以转化为另一个名为拉格朗日对偶问题的优化问题（先前的问题称为primal）：

\begin{aligned} \underset{α}{最高} & \underset{w ， b}{分} \frac{‖ w ‖}{2} + C \sum_{一世 = 1个}^{ñ} α^{（ 一世 ）} （ 1个 - w^{Ť} ϕ （ X^{（ 一世 ）} ） + b ） ） ， \\ s 。 Ť 。 & 0 \leq α^{（ 一世 ）} \leq C ， & \forall 一世 \in {1个 ， \dots ， ñ} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

此优化问题可以简化为（通过将某些渐变设置为）为： $0$

\begin{aligned} \underset{α}{最高} & \sum_{一世 = 1个}^{ñ} α^{（ 一世 ）} - \sum_{一世 = 1个}^{ñ} \sum_{Ĵ = 1个}^{ñ} （ ÿ^{（ 一世 ）} α^{（ 一世 ）} ϕ {（ X^{（ 一世 ）} ）}^{Ť} ϕ （ X^{（ Ĵ ）} ） ÿ^{（ Ĵ ）} α^{（ Ĵ ）} ） ， \\ s 。 Ť 。 & 0 \leq α^{（ 一世 ）} \leq C ， & \forall 一世 \in {1个 ， \dots ， ñ} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

$\mathbf{w}$ 不会显示为（如表示定理所述）。 $\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

因此，我们使用训练集的学习。 $\alpha^{(i)}$ $(\mathbf{x}^{(i)}, y^{(i)})$

（供参考：为什么在安装SVM时会遇到双重问题？简短答案：更快的计算+允许使用内核技巧，尽管存在一些很好的方法来训练SVM，例如参见{1}）

做出预测

一旦掌握了，就可以使用特征向量来预测新样本的类别，如下所示： $\alpha^{(i)}$ $\mathbf{x}^{\text {test}}$

\begin{aligned} ÿ^{测试} & = 标志 （ w^{Ť} ϕ （ X^{测试} ） + b ） \\ = 标志 （ \sum_{一世 = 1个}^{ñ} α^{（ 一世 ）} ÿ^{（ 一世 ）} ϕ {（ X^{（ 一世 ）} ）}^{Ť} ϕ （ X^{测试} ） + b ） \end{aligned}

$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$

的总和似乎是压倒性的，因为这意味着必须对所有训练样本求和，但是绝大多数为（请参阅为什么Lagrange乘法器对于SVM稀疏？），因此在实践中这不是问题。（请注意，可以构造所有特殊情况。） iff是一个支持向量。上面的插图有3个支持向量。 $\sum_{i =1}^{N}$ $\alpha^{(i)}$ $0$ $\alpha^{{(i)}} > 0$ $\alpha^{{(i)}}=0$ $x^{{(i)}}$

内核把戏

可以看到，优化问题仅在内部乘积使用。将映射到内部乘积被称为一个内核，又名核函数，通常记为。 $\phi\left(\mathbf{x}^{(i)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $k$

可以选择以便有效地计算内积。这允许以低计算成本使用潜在的高特征空间。那就是所谓的内核技巧。为了使内核功能有效（即可与内核技巧一起使用），它应满足两个关键属性。有许多内核函数可供选择。作为附带说明，内核技巧可以应用于其他机器学习模型，在这种情况下，它们被称为“ 内核化”。 $k$

更进一步

关于SVM的一些有趣的QA：

其他连结：

最小二乘支持向量机

参考文献：

{1} Chapelle，Olivier。“训练原始的支持向量机。” 神经计算19，否。5（2007）：1155-1178。https://scholar.google.com/scholar?cluster=469291847682573606&hl=zh-CN&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

— 弗兰克·德农库特
source

2

嗨弗兰克，非常感谢您的回答。您介意解释为什么向量与SVM生成的超平面正交吗？以及如何计算两个决策边界之间的距离等于

w

$w$

\frac{2}{‖ w ‖}

$\frac{2}{\lVert w \rVert}$

— tosik

3

除了这个不错的答案之外，我还想向您推荐该视频，它介绍了SVM背后的数学原理，并特别阐明了@tosik评论的问题youtube.com/watch?v=_PwhiWxHK8o

— Nikolas Rieble

很好的答案。关于这一部分的一句话是： iff是一个支持向量。对于分类，求和实际上是在支持向量上（即）。

α^{(i)} = 0

$\alpha^{{(i)}}=0$

x^{(i)}

$x^{{(i)}}$

α^{(i)} \geq 0

$\alpha^{{(i)}} \ge 0$

— 989年

13

我将重点介绍它与其他分类器的异同点：

从感知器来看：SVM使用铰链损失和L2正则化，感知器使用感知器损失并且可以使用早期停止（或其他技术）进行正则化，但感知器中实际上没有正则化项。由于没有正则化项，因此感知器注定会受到过度训练，因此泛化能力可能会很差。优化是使用随机梯度下降完成的，因此非常快。从积极的方面来看，本文表明，通过使用稍有修改的损失函数进行早期停止，性能可以与SVM媲美。
从逻辑回归：逻辑回归使用逻辑损失项，并且可以使用L1或L2正则化。您可以将逻辑回归视为生成朴素贝叶斯的判别兄弟。
从LDA：LDA也可以看作是一种生成算法，它假定概率密度函数（p（x | y = 0）和p（x | y = 1）呈正态分布。当数据位于事实是正态分布，但是不利的一面是，“训练”需要对一个可能很大的矩阵求逆（当您具有许多特征时）。在等方差下，LDA变成QDA，对于正态分布数据，贝叶斯最优。假设满足，您确实不能做得更好。

在运行时（测试时间），一旦模型被训练，所有这些方法的复杂性是相同的，它只是在训练过程中找到的超平面和数据点之间的点积。

— 卡洛斯
source

1

既然您在SVM方面似乎非常称职，请允许我澄清一下我的疑问：一旦找到最佳的分离超平面，我们将其用于什么？我们可以将SVM定义为一种方法，首先，选择最佳的超平面来正确地对数据点进行分类，其次，它使用该超平面来分割两个类别中的新数据点。对？（我对第二部分有些怀疑）

— DavideChicco.it 2012年

1

@ DavideChicco.it是的，我们可以使用指标函数对新数据进行分类，这通常是分类器的主要目的。（不过，请不要相信我，我是新手）。

— keyer 2014年

12

该技术基于绘制一条决策边界线，以便尽可能多地留给第一个正例和负例：

如上图所示，如果我们选择一个正交向量，使得我们可以为任何未知示例建立一个判定标准，以将其分类为以下形式的正值： $\lVert w \rVert=1$ $\mathbf u$

w \cdot ü \geq C

$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$

对应于将投影放置在街道中间决策线之外的值。请注意。 $\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

阳性样品的等效条件为：

\begin{matrix} （1） & w \cdot ü + b \geq 0 \end{matrix}

$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$

与 $C = - b.$

我们需要和来制定决策规则，而到那里我们需要约束条件。 $b$ $\color{blue}{\mathbf w}$

第一约束，我们要强加的是，对任何阳性样品， ; 对于负样本，为。在划分边界或超平面（中值）中，该值为，而在檐槽处的值为和： $\mathbf x_+,$ $\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$ $\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$ $0$ $1$ $-1$

向量是权重向量，而是偏差。 $\bf w$ $b$

为了将这两个不等式放在一起，我们可以引入变量使得正例为，而负例为，并得出结论 $y_i$ $y_i=+1$ $y_i=-1$

y_{i} (x_{i} \cdot w + b) - 1 \geq 0.

$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$

因此，我们确定该值必须大于零，但是如果该示例位于超平面（“装订线”）上，该平面可使决策超平面与支持向量的尖端（在本例中为线）之间的分离余量最大化，然后：

\begin{matrix} (2) & y_{i} (x_{i} \cdot w + b) - 1 = 0 \end{matrix}

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$

注意，这等效于要求 $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

第二个约束：决策超平面到支持向量尖端的距离将最大化。换句话说，分离的余量（“街道”）将最大化：

假设垂直于决策边界的单位向量，则两个“边界”正负示例之间存在差异的点积为“街道”的宽度： $\mathbf w$

width = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖}

$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$

上面的方程和是在槽（超平面上最大化分离）。因此，对于正面示例：，或 ; 对于否定示例：。因此，重新定义街道的宽度： $x_+$ $x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$ ${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$ ${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

\begin{aligned} 宽度 & = （ X_{+} - X_{-} ） \cdot \frac{w}{‖ w ‖} \\ = \frac{X_{+} \cdot w - X_{-} \cdot w}{‖ w ‖} \\ = \frac{1个 - b - （ - 1个 - b ）}{‖ w ‖} \\ （3） & = \frac{2}{‖ w ‖} \end{aligned}

$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$

所以现在我们只需要最大化街道的宽度-即最大化最小化或最小化： $\frac{2}{\lVert w \rVert},$ $\lVert w \rVert$

\begin{matrix} （4） & \frac{1个}{2} ‖ w ‖^{2} \end{matrix}

$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$

这在数学上很方便。

所以我们要：

用约束最小化： $\lVert x\rVert^2$
$y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

由于我们要基于一些约束来最小化此表达式，因此我们需要一个拉格朗日乘数（返回方程式2和4）：

\begin{matrix} （5） & 大号 = \frac{1个}{2} ‖ w ‖^{2} - \sum λ_{一世} [ÿ_{一世} （ X_{一世} \cdot w + b ） - 1个] \end{matrix}

$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$

差异化

\frac{\partial 大号}{\partial w} = w - \sum λ_{一世} ÿ_{一世} X_{一世} = 0

$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$ 。

因此，

\begin{matrix} （6） & w = \sum λ_{一世} ÿ_{一世} X_{一世} \end{matrix}

$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$

并针对区分 $b:$

\frac{\partial 大号}{\partial b} = - \sum λ_{一世} ÿ_{一世} = 0 ，

$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$

这意味着我们有乘数和标签的零和积：

\begin{matrix} （7） & \sum λ_{一世} ÿ_{一世} = 0 \end{matrix}

$\sum \lambda_i \, y_i = 0\tag 7$

将方程式（6）插回方程式（5），

大号 = \frac{1个}{2} （ \sum λ_{一世} ÿ_{一世} X_{一世} ） （ \sum λ_{Ĵ} ÿ_{Ĵ} X_{Ĵ} ） - （ \sum λ_{一世} ÿ_{一世} X_{一世} ） \cdot （ \sum λ_{Ĵ} ÿ_{Ĵ} X_{Ĵ} ） - \sum λ_{一世} ÿ_{一世} b + \sum λ_{一世}

$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$

根据等式（7），倒数第二项为零。

因此，

\begin{matrix} （8） & 大号 = \sum λ_{一世} - \frac{1个}{2} \sum_{一世} \sum_{Ĵ} λ_{一世} λ_{Ĵ} ÿ_{一世} ÿ_{Ĵ} X_{一世} \cdot X_{Ĵ} \end{matrix}

$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$

等式（8）是最终的拉格朗日方程。

因此，优化取决于示例对的点积。

回到上面的等式（1）中的“决策规则”，并使用等式（6）：

\begin{matrix} （9） & \sum λ_{一世} ÿ_{一世} X_{一世} \cdot ü + b \geq 0 \end{matrix}

$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$

将是新向量的最终决策规则 $\mathbf u.$

— 安东尼·帕雷拉达（Antoni Parellada）
source

没什么原创的……只是我自己在更入门级别的笔记。基本上是从麻省理工学院的这段录像带我自己的插图。如果有错误，请告诉我。要获得有见地的答案，以及更多详细信息，请访问专家级（Franck的职位等）。

— 安东尼帕雷拉达

我该如何计算b呢？

— mike

1

@mike其中是支持向量的索引集你可以在这里找到它。

b = y_{s} - \sum_{m \in S} α_{m} y_{m} x_{m} \cdot x_{s}

$b= y_s -\displaystyle \sum_{m\in S} \alpha_m y_m \mathbf{x}_m\cdot \mathbf {x}_s$

S

$S$

(α_{i} > 0) .

$(\alpha_i > 0).$

— 安东尼·帕雷拉达

@AntoniParellada令人惊叹的答案Antoni非常感谢-但是您是否不缺少对偶问题和KTT条件的一部分？

— Xavier Bourret Sicotte

@XavierBourretSicotte我暂时无法使用它。请考虑针对这些问题写一个替代答案，如果您这样做，请告诉我，以便我们了解并可以投票。

— 安东尼·帕雷拉达

3

对偶性和KTT条件的一些评论

原始问题

从方程式和之间的@Antoni帖子中选取，回想一下我们最初的或原始的优化问题的形式为： $(4)$ $(5)$

\begin{aligned} \underset{w ， b}{分} F （ w ， b ） & = \underset{w ， b}{分} \frac{1个}{2} | | w | |^{2} \\ s 。 Ť 。 G_{一世} （ w ， b ） & = - ÿ^{（ 一世 ）} （ w^{Ť} X^{（ 一世 ）} + b ） + 1个 = 0 \end{aligned}

$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$

拉格朗日法

拉格朗日乘数的方法使我们可以将约束优化问题转换为以下形式的无约束的一种：

大号 （ w ， b ， α ） = \frac{1个}{2} | | w | |^{2} - \sum_{一世}^{米} α_{一世} [ÿ^{（ 一世 ）} （ w^{Ť} X^{（ 一世 ）} + b ） - 1个]

$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$

其中被称为拉格朗日和被称为拉格朗日乘数。 $\mathcal{L}(w, b, \alpha)$ $\alpha_i$

我们对拉格朗日算式的原始优化问题如下：（请注意，使用，并不是最严格的，因为我们在这里也应该使用和 ...） $min$ $max$ $\inf$ $\sup$

\underset{w ， b}{分} （ \underset{α}{最高} 大号 （ w ， b ， α ） ）

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$

双重问题

@Antoni和Patrick Winston教授在推导中所做的假设是，优化函数和约束条件满足某些技术条件，因此我们可以执行以下操作：

\underset{w ， b}{分} （ \underset{α}{最高} 大号 （ w ， b ， α ） ） = \underset{α}{最高} （ \underset{w ， b}{分} 大号 （ w ， b ， α ） ）

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$

这使我们可以相对于和取的偏导数，等于零，然后将结果插回到拉格朗日方程的原始方程式中，从而生成等效项形式的双重优化问题 $\mathcal{L}(w, b, \alpha)$ $w$ $b$

\begin{aligned} \underset{α}{最高} \underset{w ， b}{分} 大号 （ w ， b ， α ） \\ \underset{α}{最高} \sum_{一世}^{米} α_{一世} - \frac{1个}{2} \sum_{一世 ， Ĵ}^{米} ÿ^{（ 一世 ）} ÿ^{（ Ĵ ）} α_{一世} α_{Ĵ} < X^{（ 一世 ）} X^{（ Ĵ ）} > \\ s 。 Ť 。 α_{一世} \geq 0 \\ s 。 Ť 。 \sum_{一世}^{米} α_{一世} ÿ^{（ 一世 ）} = 0 \end{aligned}

$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$

对偶与KTT

无需过多的数学技巧，这些条件就是对偶性和Karush Kuhn Tucker（KTT）条件的组合，使我们能够解决对偶问题而不是原始问题，同时确保最优解是相同的。在我们的情况下，条件如下：

主要目标和不等式约束函数必须是凸的
等式约束函数必须是仿射的
约束必须严格可行

然后存在，它们是原始问题和对偶问题的解决方案。此外，参数满足以下KTT条件： $w^*, \alpha^*$ $w^*, \alpha^*$

\begin{aligned} \frac{\partial}{\partial w_{一世}} 大号 （ w^{*} ， α^{*} ， β^{*} ） = 0 & （ 一种 ） \\ \frac{\partial}{\partial β_{一世}} 大号 （ w^{*} ， α^{*} ， β^{*} ） = 0 & （ 乙 ） \\ α_{一世}^{*} G_{一世} （ w^{*} ） = 0 & （ C ） \\ G_{一世} （ w^{*} ） \leq 0 & （ d ） \\ α_{一世}^{*} \geq 0 & （ Ë ） \end{aligned}

$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$

此外，如果某些满足KTT解，那么它们也是原始和对偶问题的解决方案。 $w^*, \alpha^*$

上面的等式特别重要，被称为对偶互补条件。这意味着如果则，这意味着约束是活动的，即，它具有相等性而不是不相等性。这是安东尼推导中等式背后的解释，其中不等式约束变为等式约束。 $(C)$ $\alpha_i^* > 0$ $g_i(w^*) = 0$ $g_i(w) \leq 0$ $(2)$

直观但非正式的图表

资料来源

Ng 1和2
麻省理工学院

— Xavier Bourret Sicotte
source

2

非常感谢你。我读得很快，以后又花更多的时间再读，但听起来不错，并触及了答案中的遗漏之处。