支持向量数量与特征数量之间的关系

我针对给定的数据集运行了SVM，并进行了以下观察：如果我更改了用于构建分类器的功能数量，则生成的支持向量的数量也将更改。

我想知道如何解释这种情况。

如果您看一下SVM解决的优化问题：

$\min_{\mathbf{w},\mathbf{\xi}, b } \left\{\frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i \right\}$

st $y_i(\mathbf{w}\cdot\mathbf{x_i} - b) \ge 1 - \xi_i, ~~~~\xi_i \ge 0,$ 对于所有$i=1,\dots n$

支持向量是，其中对应的。换句话说，它们是分类错误或接近边界的数据点。$x_i$$\xi_i \gt 0$

现在，让我们将拥有全套功能的情况下的解决方案与丢弃某些功能的情况进行比较。抛弃特征在功能上等同于保留特征，但是为要丢弃的特征添加了。 $w_j=0$$j$

当比较这两个优化问题并进行数学计算时，事实证明，特征数量和支持向量数量之间没有硬性关系。它可以任意选择。

考虑一个简单的案例很有用。想象一个2维的情况，您的负特征和正特征分别聚集在（-1，-1）和（1,1）周围，并且可以与带有3个支持向量的对角线分隔超平面分开。现在，假设删除y轴功能，那么您的数据现在投影在x轴上。如果数据仍然是可分离的，例如x = 0，则可能只剩下2个支持向量，每侧一个，因此添加y特征将增加支持向量的数量。但是，如果数据不再可分离，则对于x = 0另一侧的每个点，您将至少获得一个支持向量，在这种情况下，添加y特征将减少支持向量的数量。

因此，如果这种直觉是正确的，或者您是在非常高维的特征空间中工作，或者使用映射到高维特征空间的内核，那么您的数据就更有可能是可分离的，因此添加特征将趋向于仅添加另一个支持向量。而如果您的数据当前不可分离，并且您添加了一项可显着提高可分离性的功能，那么您更有可能看到支持向量的数量减少。