什么是内核,它与其他功能的不同之处


13

似乎有许多机器学习算法依赖于内核功能。SVM和NN仅举两个。那么,内核函数的定义是什么?对它起作用的要求是什么?


5
我不会说NN依赖于内核函数-它们依赖于传递函数来实现非线性,但这与内核函数不是一回事
tdc 2012年

Answers:


11

对于S上的x,y,某些函数K(x,y)可以表示为内积(通常在不同的空间中)。K通常被称为内核或内核函数。在整个数学中,“内核”一词的使用方式不同,但这是机器学习中最常见的用法。

内核技巧是一种将观测值从通用集S映射到内部乘积空间V(配备其自然范数)的方法,而无需显式计算该映射,以希望观测值将在V中获得有意义的线性结构就效率(非常快速地在非常高的维空间中计算点积)和实用性(我们可以将线性ML算法转换为非线性ML算法)而言,这很重要。

要将函数K视为有效内核,必须满足Mercer的条件。实际上,这意味着我们需要确保内核矩阵(计算您拥有的每个数据点的内核乘积)始终为正半定数。这将确保训练目标函数是凸的,这是非常重要的属性。


感谢@carlosdc,但恐怕您正在尝试教这只老狗,新技巧。很多事情困扰着我。我阅读了Mercer的条件,但是它们在现实世界中的意义对我来说已经丢失了。从上面我假设内核的积分必须限制为有限值。这个假设正确吗?

1
如果核矩阵是PSD,则目标凸的部分取决于目标。对于SVM,这是正确的,但是对于高斯过程,关键是内核矩阵是有效的协方差矩阵,因此是可逆的。
bayerj 2012年

2

来自威廉姆斯,克里斯托弗·基恩和卡尔·爱德华·拉斯穆森。“ 用于机器学习的高斯过程。 ”麻省理工学院出版社2号,没有。3(2006)。第80页

xXxXR

同样,kernel =内核函数。

机器学习算法中使用的内核通常满足更多属性,例如正半定数。


2

尝试尝试较少的技术解释。

首先,从两个向量之间的点积开始。这告诉您向量有多“相似”。如果向量表示数据集中的点,则点积会告诉您它们是否相似。

但是,在某些(许多)情况下,点积不是相似性的最佳度量。例如:

  • 也许由于某些其他原因,具有低点积的点是相似的。
  • 您可能没有很好地表示为点的数据项。

因此,不用“点积”,而是使用“内核”,它只是一个获取两点并提供它们相似度的度量的函数。我不能百分百确定一个函数在技术上必须满足什么技术条件才能成为内核,但这就是我的主意。

一件非常棒的事情是,内核可以帮助您将领域知识投入到问题中,因为您知道领域是来自xyz原因,因此您可以说两点是相同的。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.