内核化SVM是否有可能实现Gradient Descent（如果有的话，人们为什么要使用二次编程）？

人们在处理带内核的SVM时为什么使用二次编程技术（例如SMO）？梯度下降有什么问题？不能与内核一起使用还是速度太慢（为什么？）。

这里有一些上下文：为了更好地理解SVM，我使用了Gradient Descent通过以下成本函数来训练线性SVM分类器：

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

我正在使用以下符号：

• $\mathbf{w}$是模型的特征权重，是其偏差参数。$b$
• $\mathbf{x}^{(i)}$是第训练实例的特征向量。$i^\text{th}$
• $y^{(i)}$是实例的目标类（-1或1）。$i^\text{th}$
• $m$是训练实例的数量。
• $C$是正则化超参数。

我从该方程式导出了一个（子）梯度向量（关于和），而Gradient Descent效果很好。$\mathbf{w}$$b$

现在，我想解决非线性问题。我可以在成本函数中用替换所有点积，其中是内核函数（例如高斯RBF，），然后使用演算来导出（子）梯度向量并继续进行Gradescent Descent？$\mathbf{u}^t \cdot \mathbf{v}$$K(\mathbf{u}, \mathbf{v})$$K$$K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

如果太慢，那为什么呢？成本函数不是凸的吗？还是因为梯度变化太快（Lipschitz不是连续的），所以算法在下降过程中会不断跳越谷底，因此收敛非常慢？但是，即使那样，又怎么会比二次编程的时间复杂度O（{n_ \ text {samples}} ^ 2 \ times n_ \ text {features}）更糟$O({n_\text{samples}}^2 \times n_\text{features})$呢？如果是局部最小值的问题，采用模拟退火的随机GD不能克服它们吗？

将为和，其中，其中是原始输入矩阵的映射，。这样就可以通过原始公式解决SVM。使用损失的符号：瓦特吨 φ （X）= Ü吨 ⋅ ķ 瓦特吨瓦特 = û吨ķ Ù ķ = φ （X ）吨 φ （X）φ （X ）$\mathbf w = \phi(\mathbf x)\cdot \mathbf u$$\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$$\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$$\phi(x)$$\mathbf x$

米× 米ù米× $\mathbf{K}$是一个矩阵，而是一个矩阵。两者都不是无限的。$m \times m$$\mathbf{u}$$m \times 1$

确实，对偶通常可以更快地解决，但是原始模型也具有优势，例如近似解（在对偶公式中不能保证）。

现在，为什么双重优势如此突出并不明显：[1]

过去十年中大多数研究都涉及双重优化的历史原因尚不清楚。我们认为这是因为SVM最初是在其硬边际公式中引入的[Boser et al。，1992]，因此双重优化（由于约束）似乎更为自然。但是，一般而言，即使训练数据是可分离的，也应首选软边际支持向量机：由于考虑了更多的训练点，因此决策边界更加稳健[Chapelle et al。，2000]。

Chapelle（2007）认为，原始优化和对偶优化的时间复杂度均为，最坏的情况是，但他们分析了二次和近似铰链损耗，因此没有适当的铰链损耗，因为它无法与牛顿法一起使用。 ø （Ñ 3 $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$$\mathcal{O}\left(n^3\right)$

_{[1] Chapelle，O.（2007）。训练原始的支持向量机。神经计算，19（5），1155-1178。}

如果将变换应用于所有输入权重向量（），则会得到以下成本函数：x （i $\phi$$\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

内核伎俩内容替换通过。由于权重向量是不转化，所述核技巧不能被施加到上面的成本函数。ķ （Û，v）$\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$$K(\mathbf{u}, \mathbf{v})$$\mathbf{w}$

上面的成本函数对应于SVM目标的原始形式：

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

受和 forζ （我） ≥ 0 我= 1 ，⋯ ，$y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$$\zeta^{(i)} \ge 0$$i=1, \cdots, m$

该双数形式是：

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

受制于和对于0≤ α 我 ≤c ^我=1，2，⋯，$\mathbf{y}^t \cdot \mathbf{\alpha} = 0$$0 \le \alpha_i \le C$$i = 1, 2, \cdots, m$

其中是一个全为1的向量，是一个矩阵，元素为。Q米× 米Q 我Ĵ = ý （我） Ý （Ĵ ） φ （X （我））吨＆CenterDot;＆φ （X （Ĵ ）$\mathbf{1}$$\mathbf{Q}$$m \times m$$Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

现在，我们可以通过如下计算来使用内核技巧：$Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

因此，内核技巧只能用于SVM问题的对偶形式（加上一些其他算法，例如逻辑回归）。

现在，您可以使用现有的二次编程库来解决此问题，或者使用拉格朗日乘数来获取无约束函数（双重成本函数），然后使用梯度下降或任何其他优化技术来搜索最小值。最有效的方法之一似乎是libsvm库实现的SMO算法（用于内核化SVM）。

我可能是错的，但是我看不到如何用内核替换点积而不将其变成双重问题。

内核将输入隐式映射到某个特征空间，其中变为，然后损失函数变为 如果应用了高斯核，则 将具有无限尺寸，。$x$$\phi(x)$
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
$\phi(\mathbf{x}^{(i)})$$\mathbf{w}$

直接使用梯度下降来优化无限维向量似乎很困难。

更新
Firebug的答案提供了一种在原始公式中用内核替换点积的方法。