哪种核方法能提供最佳的概率输出？

最近，我已经使用Platt对SVM输出的缩放来估计默认事件的概率。更直接的替代方法似乎是“内核逻辑回归”（KLR）和相关的“导入向量机”。

谁能说出哪种给出概率输出的核方法是最新技术？是否存在KLR的R实现？

非常感谢您的帮助！

logistic svm kernel-trick

— 理查德·N
source

（+1）一个非常有趣的问题……

— steffen 2010年

Answers:

高斯过程分类（使用期望传播）可能是机器学习中的最新技术。拉斯穆森（Rasmussen）和威廉姆斯（Williams）都有一本很棒的书（可免费下载），该书的网站具有非常好的MATLAB实现。更多的软件，书籍，论文等在这里。但是，实际上，KLR对于大多数问题都可能工作得很好，主要困难在于选择内核和正则化参数，这可能最好通过交叉验证来完成，尽管可以近似留一法交叉验证。非常有效，请参阅Cawley和Talbot（2008）。

— 迪克兰有袋动物
source

（+1）感谢您提供有关选型问题的链接和建议。

— chl 2010年

我应该补充一点，不要使用基于拉普拉斯近似的实现-后验高度偏斜，并且以该模式为中心的对称近似通常不能很好地工作。

— Dikran有袋动物博物馆，2010年

谢谢Dikran！您能给我解释一下KLR和Kernel平滑的关系吗？KLR模型的构建类似于svm [损失+损失]公式，并通过梯度下降来求解。但是，与此同时，关于KLR的参考文献（例如，“内核逻辑回归和导入向量机”，Zhu and Hastie 2005）中提到了平滑文学（例如，“广义加性模型”，Hastie and Tibshirani 1990）。

— 理查德·N 2010年

我对平滑文献不甚了解，但是核模型与样条平滑紧密相关。我认为最好的去处是Grace Wahba的出版物（stat.wisc.edu/~wahba），他的工作涉及平滑和核方法。

— 迪克兰有袋博物馆，2010年

谢谢，我将仔细阅读wahba的出版物。您最多可以推荐R中的KLR实现吗？

— 理查德·N 2010年

我想您知道逻辑回归的内核是非参数内核，因此首先要有该限制。

关于R包，我知道并且很好用的是np：用于混合数据类型的非参数内核平滑方法

该软件包提供了多种非参数（和半参数）内核方法，可无缝处理连续，无序和有序因子数据类型的混合。

关于最新的内核，我可以建议尝试从2009年开始对本文中描述的内核进行试验。请仔细阅读以选择最适合您的内核。

— 玛丽安娜·索弗
source

嘿，玛丽安娜，谢谢您的回答，但是我们有一个误解：我所说的“内核方法”是指诸如使用“内核技巧”的Support Vector Machine的方法，而不是内核平滑方法。

— 理查德·N 2010年