SVM，变量交互和训练数据拟合

我有2个一般/更多理论问题。

1）我很好奇在建立预测模型时SVM如何处理变量交互。例如，如果我有两个特征f1和f2，并且目标取决于f1，f2，并说f1 * f2（或某些函数h（f1，f2）），则SVM是否适合（不仅适用于OOS，甚至适用于训练数据）在仅包括f1和f2的特征中包括f1，f2和h（f1，f2）时是否有所改善？SVM算法处理特征交互吗？SVM如何尝试在更高维度的空间中创建超平面，但似乎并不确定。

2）在将SVM拟合训练数据时，如果具有足够的功能并找到最佳参数（通过蛮力搜索或其他方法），SVM会总是琐碎地拟合训练数据吗？不知道我的措词是否正确，但是基本上，如果功能中有足够的方差/噪声，SVM是否总是100％适合训练数据？相反，如果SVM无法100％拟合训练数据，这是否意味着某些影响目标变量的信息（或其他功能）并未在数据中捕获？

谢谢

小澄清。我指的是内核SVM

正如highBandwidth所建议的那样，这取决于您使用的是线性SVM还是非线性的SVM（如果不使用内核，这是古怪的，它是最大余量线性分类器，而不是SVM）。

最大余量线性分类器与任何其他线性分类器没有什么不同，如果数据生成过程意味着属性之间存在交互，则提供这些交互项可能会提高性能。最大余量线性分类器类似于ridge回归，在惩罚项上略有差异，旨在避免过度拟合（为正则化参数提供合适的值），并且在大多数情况下，ridge回归和最大余量分类器将提供相似的性能。

如果你认为互动方面可能是重要的，那么你可以通过使用多项式内核介绍他们到SVM的特征空间，其中将给出一个特征空间，其中每个轴表示或更小的阶多项式，参数影响不同阶的单项式的相对权重。因此，具有多项式内核的SVM等效于在属性空间中拟合多项式模型，该模型隐式地合并了这些交互。$K(x,x') = (x\cdot x' + c)^d$$d$$c$

给定足够的功能，任何线性分类器都可以轻松拟合数据。IIRC 在维空间中“一般位置”中的点可以通过超平面（比照VC维）来粉碎（以任意方式分离）。这样做通常会导致严重的过度装配，因此应避免。最大余量分类的目的是通过添加惩罚项来限制这种过度拟合，这意味着要实现最大的分隔（这将需要与任何训练示例的最大偏差才能产生错误分类）。这意味着您可以将数据转换为一个高维空间（线性模型非常强大），而不会产生过多的过拟合。$n$$n-1$

请注意，某些内核会产生一个无穷维的特征空间，对于一般位置上的任何有限训练样本，其中的“琐碎”分类都是可能的。例如，径向基函数内核，其中特征空间是无限维超球面的正正数。这样的内核使SVM成为通用逼近器，它基本上可以表示任何决策边界。$K(x,x') = \exp{-\gamma\|x - x'\|^2}$

但是，这只是故事的一部分。在实践中，我们通常使用软保证金SVM，其中允许违反保证金约束，并且有一个正则化参数可控制在最大化保证金之间进行权衡（这是一个惩罚项，类似于岭回归）和松弛变量的大小（类似于训练样本的损失）。然后，我们通过调整正则化参数来避免过度拟合，例如，通过最小化交叉验证误差（或留出遗漏的误差），就像在脊回归中一样。

因此，尽管SVM 可以对训练集进行简单分类，但通常只有在错误选择正则化和内核参数的情况下，SVM 才会这样做。使用任何内核模型获得良好结果的关键在于选择合适的内核，然后调整内核和正则化参数以避免数据过拟合或过拟合。

答案取决于您使用的是线性SVM还是内核SVM。使用线性SVM，您仅使用所提供的功能，而没有考虑交互作用。借助内核SVM，基本上，您会使用许多不同的功能，具体取决于您选择的内核。如果存在一个分离的超平面，即，确定了其中是功能，那么您就可以完全拟合训练数据。通常，您不指定功能部件，而是将与功能部件相关的内核指定为。查找再现内核Hilbert空间。$sign(\sum_{i=1}^{K}\beta_i(x)-\beta_0)$$\beta_i,i \in \{1,2,...K\}$$K$$K(x_1,x_2) = \sum_{i=1}^K \beta_i(x_1) \beta_i(x_2)$