内核逻辑回归与SVM

众所周知，SVM可以使用内核方法将数据点投影到较高的空间中，以便可以用线性空间分隔这些点。但是我们也可以使用逻辑回归在内核空间中选择此边界，那么SVM有何优势？由于SVM使用的稀疏模型在预测时仅由那些支持向量做出贡献，因此这会使SVM的预测速度更快吗？

KLR和SVM

1. 在两种情况下，分类性能几乎相同。
2. KLR可以提供类概率，而SVM是确定性分类器。
3. KLR对多类分类有自然的扩展，而在SVM中，有多种方法可以将其扩展到多类分类（并且，是否有一种版本具有可证明的优越性仍是一个研究领域）。
4. 出乎意料的是，KLR还具有SVM所享有的最佳保证金属性（至少在极限范围内）！

综上所述，您几乎应该使用内核逻辑回归。但是，SVM具有某些优势

1. $O(N^3)$$O(N^2k)$$k$
2. SVM中的分类器设计为仅根据支持向量进行定义，而在KLR中，分类器在所有点上进行定义，而不仅仅是支持向量。这使SVM可以享受某些自然的提速（就有效的代码编写而言），这对于KLR而言是很难实现的。

这是我对这个问题的看法：

SVM是一种非常优雅的分类方法。有一些不错的理论，一些漂亮的数学，它们很好地概括了，而且也不太慢。尝试使用它们进行回归，但会变得混乱。

• 这是有关SVM回归的资源。请注意旋转的额外参数，以及有关优化算法的深入讨论。

高斯过程回归具有很多相同的内核数学，并且对于回归非​​常有用。再次，非常优雅，而且不太慢。尝试将它们用于分类，这会让人感到很困惑。

• 这是GP手册中有关回归的一章。

• 这是有关分类的一章，以供比较。请注意，您最终得到了一些复杂的近似值或迭代方法。

但是，使用GP进行分类的一个好处是，它可以为您提供预测分布，而不是简单的是/否分类。

请访问http://www.stanford.edu/~hastie/Papers/svmtalk.pdf

一些结论：分类性能非常相似。具有有限的最佳保证金属性。提供类概率的估计。通常，这些分类比分类更有用。通过核的多对数回归自然地将其归纳为M类分类。