了解SVM回归：目标函数和“平坦度”

12

用于分类的SVM对我而言具有直觉的意义：我知道如何最小化 $||\theta||^2$ 产生最大余量。但是，我不了解回归的目标。各种文本（此处和此处）将其描述为最大化“平坦度”。我们为什么要这样做？回归等于“保证金”的概念是什么？

这里有一些尝试的答案，但是没有一个真正帮助我理解。

regression svm

— 杨
source

我不是真的支持SVM理论，但是您链接到的内核机器讨论中的“平坦度”似乎等于：“具有小的二阶导数”（考虑样条平滑模型的典型动机）。

— conjugateprior

Answers:

11

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

您也可以将Ridge Regression视为无需内核技巧或SVM'tube'回归公式就可以执行相同的操作。

编辑：响应@杨的评论，一些更多的解释：

$y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ $y$ $||\theta||$ $||\theta||$
$y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ $\theta_1$ $n-2$
$\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ $\theta$ $l$ $l$

— 破旧的
source

1

因此，这基本上是回归分析，具有“管状”损失函数（预测的点+/-ε为零罚分），而不是OLS的二次损失函数？

— conjugateprior

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

@shabbychef谢谢。我一直想知道那里发生了什么。

— 共轭

@Conjugate Prior：我不认为这实际上不是所需的损失函数，但是数学最终效果很好，所以他们顺其自然。至少那是我的怀疑。

— shabbychef 2011年

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

3

shabbychef从模型复杂性的角度给出了非常清晰的解释。我将尝试从另一个角度来理解这个问题，以防万一。

$e$

$(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

$e$ $\omega$

任何人都可以轻松地将一维情况扩展为N维情况，因为距离方程始终是欧几里得距离。

另外，我们可能会对SVR中的优化问题进行回顾，以进行比较[1]。

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

谢谢。

[1] Smola，A。和B.Schölkopf。关于支持向量回归的教程。统计与计算，第一卷。14，第3号，2004年8月，第199-222页。

— 循环的
source

0

至少，我不认为最小化与SVM分类设置中的概念裕度有任何关系。它用于一个完全不同的目标，上述两个职位对此做了很好的解释，即降低模型复杂性并避免过度拟合。 $\theta$

— 林恩约翰
source

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.