如何了解RBF SVM的效果

我如何了解SVM中的RBF内核？我的意思是我理解数学，但是有什么办法可以感觉到何时该内核会有用吗？

由于RBF包含矢量距离，因此kNN的结果是否与SVM / RBF有关？

有没有一种方法可以了解多项式内核？我知道尺寸越高，它越摆动。但是我想了解一下内核的工作原理，而不是尝试所有可能的内核并选择最成功的内核。

您可以从这里查看我的答案之一开始：
带RBF内核的非线性SVM分类

在该答案中，我试图解释内核函数正在尝试做什么。在了解了它的尝试操作后，您可以在Quora上阅读我对某个问题的回答：https : //www.quora.com/Machine-Learning/Why-does-the-RBF-径向基函数内核映射到无限维空间/ answer / Arun-Iyer-1

如果您没有Quora帐户，请在Quora上复制答案的内容。

问题：为什么RBF（径向基函数）内核映射到无限维空间？回答：考虑通过定义度2的多项式核，其中X ，ÿ ∈ - [R 2和X = （X 1，X 2），ÿ = （Ý 1，ÿ 2）。

$$k(x, y) = (x^Ty)^2$$ $x, y \in \mathbb{R}^2$$x = (x_1, x_2), y = (y_1, y_2)$

因此，内核函数可以写为：现在，让我们尝试提出一个特征图 Φ，这样内核函数可以写成 k （x

$$k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$$ $\Phi$。$k(x, y) = \Phi(x)^T\Phi(y)$

考虑下面的特征图基本上，此特征图将 R 2中的点映射到 R 3中的点 。此外，请注意，Φ（X）ŤΦ（Ý）=X 2 1 Ÿ 2 1 +2X1X2ý1Ÿ2+X 2

$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$$ $\mathbb{R}^2$$\mathbb{R}^3$基本上是我们的核函数。 $$\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$$

这意味着我们的内核函数实际上是在计算中点的内部/点积。也就是说，它隐式地映射了我们的点$\mathbb{R}^3$到 R 3。$\mathbb{R}^2$$\mathbb{R}^3$

练习题：如果您的点在，则阶数为2的多项式内核会将其隐式映射到某个向量空间F。此向量空间F的维数是多少？提示：我在上面所做的一切都是一个线索。$\mathbb{R}^n$

现在，来到RBF。

$\mathbb{R}^2$

$$k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$$ $$= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$$ $$= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$$ $$k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$$ $\Phi$$\mathbb{R}^2$

练习题：对于上述情况，获取RBF的特征图的前几个矢量元素？

现在，根据以上答案，我们可以得出以下结论：

• $\Phi$
• $\Phi$$\mathbb{R}^2$$\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$