在SVM算法中，为什么向量w与分离的超平面正交？

我是机器学习的初学者。在SVM中，分离的超平面定义为。为什么我们说向量与分离超平面正交？$y = w^T x + b$$w$

在几何上，向量w正交于定义的线。这可以理解为：$w^{T} x = b$

首先取。现在很明显，所有向量内积随消失都满足该方程，即，所有正交于w的向量都满足该方程。x $b = 0$$x$$w$

现在，通过向量a将超平面平移离开原点。现在，平面的等式变为：，即我们发现对于偏移，这是向量在向量上的投影。b = a T$(x − a)^{T} w = 0$$b = a^{T} w$$a$$w$

在不失一般性的前提下，我们可以选择垂直于该平面的垂直线，在这种情况下，长度表示最短的正交线原点和超平面之间的距离。$\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

因此，向量被称为与分离超平面正交。$w$

之所以是正常的超平面是因为我们定义它是这个样子：$w$

假设我们在3d空间中有一个（超）平面。令为该平面上的点，即P 0 = x 0，y 0，z 0。因此，从原点的矢量（0 ，0 ，0 ）这一点仅仅是< X 0，ÿ 0，Ž 0 >。假设我们在平面上有一个任意点P （x ，y ，z ）。加入P的向量$P_0$$P_0 = x_0, y_0, z_0$$(0,0,0)$$<x_0,y_0,z_0>$$P (x,y,z)$$P$然后由下式给出： → P − → P 0 = < x − x 0，y − y 0，z − z 0 > 请注意，该矢量位于平面内。$P_0$

$$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$$

现在，让我们Ñ是正常的（正交的）矢量的平面。因此 ：Ñ ∙ （→ P - → P 0）= 0 因此 ：Ñ ∙ → P - ñ ∙ → P 0 = 0 注意，- ñ ∙ → P 0只是一个数字和等于b中我们的情况，而ñ只是W¯¯和→ P$\hat{n}$

$$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$$ $$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$$ $-\hat{n} \bullet \vec{P_0}$$b$$\hat{n}$$w$$\vec{P}$是。因此根据定义，w与超平面正交。$x$$w$

令决策边界定义为$w^Tx + b = 0$。考虑点$x_a$和$x_b$，它们位于决策边界上。这给了我们两个方程式：

$$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$$

$w^T.(x_a - x_b) = 0$$x_a - x_b$$x_b$$x_a$$w^T.(x_a - x_b)$$w^T$$x_a - x_b$

使用与超平面正交的向量的代数定义：

$\forall \ x_1, x_2$

$$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$$