SVM中内核的区别？

26

有人可以告诉我SVM中内核之间的区别：

线性的
多项式
高斯（RBF）
乙状结肠

因为众所周知，内核用于将输入空间映射到高维特征空间。在该特征空间中，我们找到了线性可分界线。

什么时候使用它们（在什么条件下），为什么？

— 用户名
source

4

线性核就是您所期望的线性模型。我相信多项式核是相似的，但是边界是某些已定义但任意顺序的

（例如顺序3： $a= b_1 + b_2 \cdot X + b_3 \cdot X^2 + b_4 \cdot X^3$ ）。

RBF在数据点周围使用法线曲线，并对它们进行求和，以便可以通过一种拓扑条件（例如总和值大于0.5的曲线）定义决策边界。（看这张图片）

我不确定Sigmoid内核是什么，除非它类似于Logistic回归模型，在Logistic回归模型中，使用logistic函数根据logistic值大于某个值（建模概率）的位置来定义曲线，例如像正常值那样为0.5案件。

— 约翰·雪特
source

因此，如果我们使用线性核，我们可以获得线性可分离的超平面（边界）？如果我们使用多项式或RBF核，则（对于多项式）超通道可以是一组分组类（对于RBF）的圆和曲线？那正确吗？？scikit-learn.org/stable/modules/svm.html

— 2014年

每个内核都可以使用各自边界的高维版本。这是否回答你的问题？对于我所知道的任何内核，您都不受限于三个维度。

— 约翰·纳特

我只是想说清楚。那么使用线性核的边界是线性的吗？对于RBF就像是一组分组的圈子？对于多项式，它可以是基于多项式的阶数的曲线？

— user3378327 2014年

我不会说RBF是一组分组的圈子。我的理解是，它在每个数据点应用基于正态分布的函数，并对这些函数求和。然后，由代表该函数上某个值的曲线形成边界。如果为SVM库做出了贡献的人可以加入，这可能会有所帮助。我认为您对其他两个内核的理解是正确的。

— 约翰·纳特

U说Linier Kernel是我期望通过使用Kernel来获得的（可实现线性可分离的类）。通过使用SVM分类器，我们将其称为LINIER SVM。但是，如果没有SVM中的任何内核，我们如何能够获得完全可分离的数据。我们称之为什么？还是Linier SVM还是Non Linier SVM？

— user3378327 2014年

11

依靠读者有关内核的基础知识。

$K(X, Y) = X^T Y$

多项式核： $K(X, Y) = (γ\cdot X^T Y + r)^d , γ > 0$

径向基函数（RBF）内核：，其简单形式可以写为 $K(X, Y) = \exp(\|X-Y\|^2/2σ^2)$ $\exp(-γ \cdot \|X - Y\|^2), γ > 0$

乙状结肠：与逻辑回归中的乙状结肠功能相似。 $K(X, Y) = \tanh(γ\cdot X^TY + r)$

在此，，和是内核参数。 $r$ $d$ $γ$

— 阿肖克·乔杜里（Ashok Choudhary）
source

3

虽然您的答案中的信息正确无误，但我认为它不能回答这里提出的问题，这更多是针对它们之间的实际区别（即何时使用一种或另一种）。

— Firebug

1

令人惊讶的是，这些简单的定义很难得到。当谈论内核差异时，它们应该是第一件事，但是存在很多无法陈述它们的问题。

— cammil

这些有官方资料吗？（我测试了它们，它们似乎是正确的，但我希望能够引用它们。）

— Christian Eriksson

6

这个问题可以从理论和实践的角度来回答。从No-Free Lunch定理的理论出发，不能保证一个内核比另一个内核更好地工作。这是先验的，您永远不会知道，也无法找出哪个内核会更好。

从实用的角度看请参考以下页面：

如何为SVM选择内核？

— 纳图哈
source

1

在考虑什么内核“适合”或何时使用时，没有硬性规定。

如果您的分类器/回归器在给定的内核中表现良好，则适当的（如果不合适），请考虑更改为另一个。

通过查看一些可视化示例，可以深入了解内核的性能，特别是如果它是分类模型，例如https://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805

— 将
source