将“内核技巧”应用于线性方法？

该核技巧在几个机器学习模型（如使用SVM）。它于1964年在“模式识别学习中势函数方法的理论基础”一书中首次引入。

维基百科的定义是

一种使用线性分类器算法通过将原始非线性观测值映射到高维空间来解决非线性问题的方法，随后使用线性分类器；这使得新空间中的线性分类等同于原始空间中的非线性分类。

已扩展到非线性问题的线性模型的一个示例是内核PCA。内核技巧可以应用于任何线性模型，还是有一定的限制？

machine-learning kernel-trick

— 尚恩
source

顺便说一句，内核对于SVM并不是真正必需的。SVM的“心脏”是软裕量最大化的原理。使用内核表示法可以使问题的维数为O（m ^ 2）而不是O（d），其中m是示例数，d是特征空间的维数，因此，如果m ^ 2大于d，则可能是最好放弃内核jmlr.csail.mit.edu/papers/v6/keerthi05a.html

— Yaroslav

@Yaroslav：感谢您的参考。您知道该“改进的有限牛顿法”的任何实现吗？

— Shane 2010年

不，但是Keerthi和Langford的页面上有一些可能相关的软件的链接，因为他们俩都在Yahoo Research工作

— Yaroslav Bulatov 2010年

Answers:

内核技巧仅适用于线性模型，在线性模型中问题公式中的示例显示为点积（支持向量机，PCA等）。

— 乌木1
source

感谢您的回答。@mbq @ ebony1：IMO我们需要付出更多的努力在网站上发布更严重的机器学习问题，以吸引更多的该社区。

— Shane 2010年

@Shane我完全同意，但是其他类似metaoptimize.com/qa的网站呢？

— chl

@chl：这也是一个选择，但是它不是StackExchange的一部分（它由一个人控制，并且在不同的软件上），我个人更希望这些不同的数据分析社区混在一起。

— Shane 2010年

@Shane好吧，这很有道理。

— chl

还有机器学习堆栈交换建议area51.stackexchange.com/proposals/7607/machine-learning

— Yaroslav

B.Schölkopf的另外两个参考文献：

Schölkopf，B.和Smola，AJ（2002）。用内核学习。麻省理工学院出版社。
B.Schölkopf，K。津田和J.-P Vert。（2004）。计算生物学中的核方法。麻省理工学院出版社。

还有一个专门用于内核机器的网站。

— hl
source

@ ebony1给出了关键点（+1），我是一篇论文的共同作者，讨论了如何对广义线性模型进行内核化，例如逻辑回归和泊松回归，这非常简单。

GC Cawley，GJ Janacek和NLC Talbot，通用内核机器，在IEEE / INNS神经网络国际联合会议论文集（IJCNN-2007），第1732-1737页，美国佛罗里达州奥兰多，2007年8月12日至17日。（www，pdf）

我还编写了一个（具有研究质量的）MATLAB工具箱（几乎没有说明），您可以在这里找到。

能够对目标分布进行建模在不确定性量化等方面非常有用，因此它是对内核学习方法的一种有用（如果相当增量）的补充。

— 迪克兰有袋动物
source