对于非线性数据，是否应尽可能使用内核技巧？

我最近了解了内核技巧的用法，该技巧将数据映射到更高维度的空间，以尝试线性化那些维度中的数据。在任何情况下我都应避免使用此技术？仅仅是找到正确的内核功能的问题吗？

对于线性数据，这当然无济于事，但对于非线性数据，这似乎总是有用的。就训练时间和可伸缩性而言，使用线性分类器比非线性分类器容易得多。

对于线性数据，这当然无济于事，但对于非线性数据，这似乎总是有用的。就训练时间和可伸缩性而言，使用线性分类器比非线性分类器容易得多。

@BartoszKP已经解释了为什么内核技巧很有用。为了全面解决您的问题，我想指出，内核化不是处理非线性可分离数据的唯一选择。

对于模型的去线性化，至少有三个好的通用替代方案：

• 基于神经网络的方法，您可以在其中添加一层（或多层）处理单元，从而能够将数据转换为线性可分离的情况。在最简单的情况下，它是基于S形的层，这会增加过程的非线性。一旦随机初始化，它们就会在基于梯度的上层优化中得到更新（这实际上解决了线性问题）。
• 特别是-深度学习技术可以在此处用于准备数据以进行进一步的线性分类。这与前一个想法非常相似，但是在这里，您首先训练您的处理层，以便为基于线性模型训练的进一步微调找到一个良好的起点。
• 随机投影-您可以从一些预定义空间中采样（非线性）投影，并在它们之上训练线性分类器。这个想法在所谓的极限机器学习中得到了充分利用，非常高效的线性求解器用于训练随机投影上的简单分类器，并获得非常好的性能（在分类和回归中的非线性问题上，例如，极限学习机器）。

综上所述-核化是一种很棒的去线性化技术，当问题不是线性的时，您可以使用它，但是这不应是盲目的“如果那么”的方法。这只是至少几种有趣的方法之一，根据问题和要求，可能会导致各种结果。特别是，ELM倾向于找到与内核化SVM所提供的解决方案非常相似的解决方案，同时可以更快地对行进行数量级的训练（因此它的扩展性比内核化SVM 更好）。

通常，对于线性方法，您为内核技巧支付的价格具有更差的泛化范围。对于线性模型，其VC维度在维数方面也是线性的（例如，感知器的VC维度为d + 1）。

现在，如果您要对高维空间执行复杂的非线性变换，则假设集的VC维将大大变大，因为就新的高维空间而言，它的维数现在已变为线性。有了它，泛化的界限就上升了。

支持向量机通过做两件事以最有效的方式利用内核技巧：

• 硬边距SVM模型的推广范围与支持向量的数量有关，软边距与权重向量的范数有关-因此，在第一种情况下可能不相关，而在第二种情况下几乎不相关。无论内核目标空间有多“大”，在泛化方面您都不会放过任何东西（参考文献：（i）C. Cortes和V. Vapnik。支持向量网络。机器学习，20：273– 297，1995；（ii）Shawe-Taylor，J。； Cristianini，N。，“论软边界算法的泛化”，《信息论》，IEEE期刊，第48卷，第10期，第2721,2735页， 2002年10月）。

• SVM找到使边距最大化的分离平面，这进一步简化了假设集（我们不考虑所有可能的分离平面，而仅考虑使边距最大化的分离平面）。简单的假设集还可以带来更好的泛化界限（这与第一点有关，但是更直观）。

我将尝试为您的问题提供非技术性的答案。

确实，应该优先选择线性，并且由于您提到的原因，训练时间，可伸缩性，易于解释最终模型，选择处理原始模型或对偶模型，对过度拟合的更大容忍度等因素，线性应该是首选。

如果线性模型不能产生令人满意的性能，则可以尝试非线性解决方案。需要考虑的一些折衷包括：

• 内核的选择。这并不明显，通常您需要测试不同的选项
• 存在过度拟合训练集的危险。实际上，如果您愿意，过拟合非常容易。为了避免过度拟合，您需要一个更强大的评估框架（您需要测量未见数据的性能方差/稳定性），并且需要足够的数据才能进行正确的模型选择
• 您对偶工作，因此无法解释最终模型，即，您不能声称特征X比特征Y更重要。
• 训练时间随数据量的增加而增加（功能数量较少，因为它位于双通道中）