在Python中为SVM计算Lagrange系数

我试图用Python 编写完整的SVM实现，但是在计算Lagrange系数时遇到一些问题。

首先让我重新叙述一下我从算法中了解的内容，以确保我走在正确的道路上。

如果是一个数据集和ÿ 我 ∈ { - 1 ，1 }是的类别标签X 我，然后∀ 我，ÿ 我（瓦特Ť X 我 + b ）≥ $x_1, x_2, ..., x_n$$y_i \in \{-1, 1\}$$x_i$

$$\forall i, y_i(w^Tx_i + b) \geq 1$$

因此，我们只需要解决一个优化问题即可

$\|w\|^2$

服从$y_i(w^Tx_i + b) \geq 1$

就拉格朗日系数而言，这转化为找到，和和最小化：$w$$b$$\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$$\geq0$

$$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$$

现在，由于和我们可以将其重写为有约束

$$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$$ $$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$$ $$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$$ $$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$$

因此，我正在尝试使用Python解决优化问题，而我能找到的唯一免费软件包称为cvxopt。

我需要一些帮助来解决这个问题，但我找不到很好的例子，虽然我了解理论，但很难将其翻译成代码（我本来希望相反更多来自编程背景）。

请注意，在某些时候，我想使用内核但我不确定在代码中解决此问题的含义。

$$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$$

任何帮助将不胜感激，我真的不知道如何在Python中实现此功能。如果您有更好的模块来解决优化问题，我也想阅读一下。

我以前使用cvxopt实现SVM，但是在matlab中不是python。它的效用肯定会达到目的，它的效率是否足够取决于您使用它的目的。最高效的SVM不使用QP求解程序包，它们利用了SVM特有的一些优化功能。许多人使用SMO样式算法来解决它。

LibSVM是一个SVM软件包，它使用算法在工作集选择中使用二阶信息来训练支持向量机。该代码是开源的，如果您有兴趣查看其实现方式。它还有一个python接口。

SVMLight是另一个软件包，它们使用不同的算法（请参阅其站点以获取参考）。它也是开源的，并具有python接口。

优化问题的一般形式是二次方程序，无论您使用的是内核技巧还是线性内核。这听起来像cvxopt将足以为你想要做什么，但在这里等pythonauts有运气OpenOpt为好。