在安装SVM时为什么要麻烦双重问题？

50

给定数据点和标签，硬边距SVM基本问题是 $x_1, \ldots, x_n \in \mathbb{R}^d$ $y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

{minimize}_{w, w_{0}} \frac{1}{2} w^{T} w

$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$

s.t. \forall i : y_{i} (w^{T} x_{i} + w_{0}) \geq 1

$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$

这是一个针对和约束进行优化的变量的二次程序。双重 $d+1$ $i$

{maximize}_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} y_{i} y_{j} α_{i} α_{j} x_{i}^{T} x_{j}

$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$

s.t. \forall i : α_{i} \geq 0 \land \sum_{i = 1}^{n} y_{i} α_{i} = 0

$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$ 是一个二次程序，具有要优化的变量以及不等式和相等约束。

n + 1

$n + 1$

n

$n$

n

$n$

实施硬边距SVM时，为什么要解决双重问题而不是原始问题？原始问题对我来说看起来更“直观”，我不必担心双重性差距，Kuhn-Tucker条件等。

如果，解决双重问题对我来说很有意义，但我怀疑还有更好的理由。是这样吗 $d \gg n$

svm

— lub
source

26

简短的答案是内核。长答案是keeerneeels（-;

对偶问题最重要的事情是引入内核技巧，旨在将原始数据映射到具有更高维度的空间。

— BigeyeDestroyer

Answers:

40

根据@ user765195答案中引用的讲义（谢谢！），最明显的原因似乎是：

解决原始问题，我们获得了最优，但是对一无所知。为了对查询点进行分类，我们需要显式计算标量积，如果大，则标量乘积可能会很昂贵。 $w$ $\alpha_i$ $x$ $w^Tx$ $d$

解决对偶问题，我们获得（其中，除少数点以外的所有点支持向量）。为了对查询点进行分类，我们计算 $\alpha_i$ $\alpha_i = 0$ $x$

w^{T} x + w_{0} = {(\sum_{i = 1}^{n} α_{i} y_{i} x_{i})}^{T} x + w_{0} = \sum_{i = 1}^{n} α_{i} y_{i} ⟨ x_{i}, x ⟩ + w_{0}

$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$

如果支持向量很少，则可以非常有效地计算该项。此外，由于我们现在有了仅涉及数据向量的标量积，因此我们可以应用内核技巧。

— lub
source

5

等等。假设您有两个支持向量x1和x2。你不能少于两个，对吗？您是说计算<x1，x>和<x2，x>比<w，x>更快吗？

— 2012年

1

@Leo：请注意，我使用<x1, x>和wTx。前者用作内核评估K（x1，x）的符号，内核评估K（x1，x）将x1和x投影到一个非常高维的空间中，并隐式计算投影值的标量积。后者是正常标量积，因此w与x必须被明确地投影，然后标量积被明确地计算。根据内核的选择，一次显式计算可能比许多内核评估花费更多的计算。

— blubb 2012年

1

据我了解的原始问题，是拉格朗日乘数，那么为什么我们不能解决原始问题才能找到呢？我的意思是我们可能不必求助于双重问题来找出，对吗？

α

$\alpha$

α

$\alpha$

α

$\alpha$

— 鳄梨

2

“此外，由于我们现在有了仅涉及数据向量的标量积，因此我们可以应用内核技巧。” -在原始公式中也是如此。

— Firebug

2

如果人们想从@Firebug的注释中获得更多详细信息，请查看lib.kobe-u.ac.jp/repository/90001050.pdf（这是原始版本的无限制版本）的等式10-12 。

— MrDrFenner '18

13

阅读第13页的第二段，并在以下说明中进行讨论：

http://cs229.stanford.edu/notes/cs229-notes3.pdf

— 用户名
source

17

这是一个很好的参考，可以清楚地回答这个问题。我认为，如果您可以在这里总结答案，将会更好地感谢您的答复：这使该主题独立存在。

— ub

3

从数值优化的角度来看，对偶公式具有吸引力的原因之一。您可以在以下论文中找到详细信息：

Hsieh，C.-J.，Chang，K.-W.，Lin，C.-J.，Keerthi，SS和Sundararajan，S.，“大规模线性SVM的双坐标下降法”，第25届国际机器学习大会，赫尔辛基，2008年。

对偶公式涉及一个仿射相等约束和n个约束。

1.仿射相等约束可以从对偶表述中“消除”。

通过将R ^ d嵌入到R ^（d + 1）中，只需向每个数据点添加单个“ 1”坐标即可得到R ^ d的嵌入，从而简单地查看R ^（d + 1）中的数据即可完成此操作d ----> R ^（d + 1）：（a1，...，ad）| --->（a1，...，ad，1）。

对训练集中的所有点执行此操作可重铸R ^（d + 1）中的线性可分离性问题，并从分类器中消除常数w0，从而从对偶中消除仿射相等约束。

2.从点1开始，对偶可以轻松地转换为凸二次优化问题，其约束仅是约束约束。

3.现在可以有效地解决对偶问题，即通过对偶坐标下降算法产生O（log（1 / epsilon））中的ε最优解。

通过注意固定除一个以外的所有alpha会产生闭式解来完成此操作。然后，您可以一个接一个地循环浏览所有Alpha（例如，随机选择一个，固定所有其他Alpha，计算闭合形式的解）。可以证明您将“很快”获得接近最佳的解决方案（请参见上述论文中的定理1）。

从优化的角度来看，对偶问题具有吸引力的原因还有很多，其中一些利用了它只有一个仿射相等约束（其余约束都是有界约束）这一事实，而另一些则利用了在解决方案中的观察结果。对偶问题“通常大多数alpha”中的0是零（对应于支持向量的非零alpha）。

您可以从Stephen Wright 在Computational Learning Workshop（2009）上的演讲中很好地了解SVM的数值优化注意事项。

PS：我是新来的。很抱歉在此网站上不擅长使用数学符号。

— T
source

1

有关如何使用数学typsetting信息是在这里：math.meta.stackexchange.com/questions/5020/...

— [恢复莫妮卡

-5

我认为在ng的讲义中，已经明确提到1 / || w ||的原始问题是非凸问题。对偶是一个凸问题，它总是很容易找到凸函数的最优值。

— 阿夫尼·康德·赖
source

1

如上所述的SVM基本是凸的。

— Dougal's

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.