SVM和铰链丢失之间有什么关系？

我和我的同事正在努力解决逻辑回归和SVM之间的差异。显然，他们正在优化不同的目标函数。SVM是否像说它是一个区分性分类器那样简单，可以简单地优化铰链损耗？还是比这更复杂？支持向量如何发挥作用？松弛变量呢？为什么不能像拥有乙状脑激活功能的深层神经网络那样拥有深层的SVM？

它们都是判别模型，是的。逻辑回归损失函数在概念上是所有点的函数。正确分类的点对损失函数的影响很小，如果它们靠近边界，则增加的更多。因此，边界附近的点对于损耗更重要，因此决定边界的好坏。

SVM使用铰链损耗，从概念上讲，重点放在边界点上。由于函数中的“铰链”（最大值），因此比最接近的点更远的距离对损失没有任何贡献。简单地说，那些最接近的点是支持向量。因此，它实际上简化为选择创建最大余量的边界-到最近点的距离。从理论上讲，边界情况对于泛化而言确实至关重要。

不利的一面是铰链损耗不可微分，但这仅意味着需要更多的数学才能发现如何通过拉格朗日乘数对其进行优化。它不能真正解决数据不可线性分离的情况。松弛变量是一种技巧，可以将这种可能性完全纳入优化问题。

您可以将铰链丢失与“深度学习”结合使用，例如http://arxiv.org/pdf/1306.0239.pdf