在SVM中解释与超平面的距离

在直观地理解SVM时，我有一些疑问。假设我们已经使用一些标准工具（例如SVMLight或LibSVM）训练了SVM模型进行分类。

1. 当我们使用该模型对测试数据进行预测时，该模型将为每个测试点生成一个具有“ alpha”值的文件。如果alpha值为正，则测试点属于1类，否则它属于2类。现在，我们可以说具有更大“ alpha”值的测试点属于具有“较高”概率的相应类吗？

2. 与第一个问题类似，当我们训练了SVM时。SV非常靠近超平面。那么这是否意味着SV很有可能属于该类别？我们可以将一个点属于一个类的概率与到“超平面”的距离联系起来吗？“ alpha”值代表距“超平面”的距离吗？

感谢您的输入。

首先，让我首先回答您的问题。SVM不是概率模型。原因之一是它不对应于可归一化的可能性。例如，在正则最小二乘你有损失函数和正则‖ 瓦特‖ 2 2。通过最小化两者之和获得权重向量。然而，这相当于最大化的日志后 W¯¯给出的数据p （w ^ |（$\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$$\|w\|_2^2$$w$，你可以看到要的产物 w（ Z上的高斯似然和高斯先验$p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$确保它正常化）。通过翻转损失的符号并对其求幂，可以从损失函数获得高斯似然。但是，如果使用SVM的损失函数执行此操作，则对数似然率不是可归一化的概率模型。

有尝试将SVM变成一体。我认为，最值得注意的一个也是在libsvm中实现的：

约翰·普拉特（John Platt）：支持向量机的概率输出以及与正则似然方法的比较（NIPS 1999）：http : //www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

为了更具体地回答您的问题：SVM中的想法确实是，测试向量离超平面越远，它就属于某个类别（当然，当错误的一面时除外）。从这种意义上讲，支持向量不属于该类的可能性很高，因为它们要么是最靠近超平面的位置，要么是位于超平面错误侧的那些。从libsvm获得的值与决策函数中的α无关。这是相当的决定函数的输出Σ 我∈ 小号V α 我 ķ （X ，X 我）+ b（因此应适当地称为$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$）。由于 ÿ = Σ 我∈ 小号V α 我 ķ （X ，X 我）+ b = ⟨ 瓦特，φ （X ）⟩ ħ + b其中瓦特生活在再生核Hilbert空间， ÿ正比于所涉及的符号距离超飞机。如果您的标准划分这将是 W ^，这在内核方面是 ‖ w ^ ‖ ^ h = $y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$$y$$w$。$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$