高斯RBF与高斯核

使用高斯径向基函数（RBF）进行线性回归与使用高斯核进行线性回归之间有什么区别？

唯一真正的区别在于所应用的正则化。正规化的RBF网络通常使用基于权重平方平方的惩罚。对于内核版本，代价通常取决于隐含在由内核引入的特征空间中的线性模型的权重的平方范数。这造成的主要实际差异是，RBF网络的惩罚取决于RBF网络的中心（并因此取决于所使用的数据样本），而RBF内核的诱导特征空间是相同的，而与样本的样本无关。数据，因此惩罚是对模型功能的惩罚，而不是模型的参数化。

换句话说，对于两个模型

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

对于RBF网络方法，训练准则为

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

对于RBF内核方法，我们有$\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$和$\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$。这意味着可以根据对偶参数\ vec {\ alpha}将归纳特征空间中模型权重的平方范数惩罚$\vec{w}$编写为$\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

其中是所有训练模式下内核的成对评估。然后训练准则是$\matrix{K}$

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$。

两种模型之间的唯一区别是正则项中的。$\matrix{K}$

内核方法的关键理论优势在于，它允许您将非线性模型解释为遵循固定非线性变换的线性模型，该变换不依赖于数据样本。因此，对于线性模型存在的任何统计学习理论都会自动转换为非线性版本。但是，一旦您尝试调整内核参数，所有这些都将崩溃，在这一点上，从理论上讲，我们回到了与RBF（和MLP）神经网络相同的位置。因此，理论上的优势可能并不如我们所愿。

在性能方面是否有可能产生任何真正的变化？大概不多。“无免费午餐”定理表明，任何算法都不比其他算法具有先验优势，并且正则化的差异非常微妙，因此如有疑问，请尝试两者并根据例如交叉验证选择最佳方法。