ep-SVR和nu-SVR(以及最小二乘SVR)之间的区别


11

我正在尝试找出哪种SVR适合此类数据。

我知道4种SVR:

  • ε
  • 最小二乘和
  • 线性的。

我了解线性SVR或多或少类似于带有L1 Reg的套索,但是其余3种技术之间有什么区别?

Answers:


11

SVR中,参数ν用于确定希望保留在解决方案中的支持向量的数量相对于数据集中样本总数的比例。在ν- SVR中,参数ϵ被引入到优化问题公式中,并为您自动(优化)估算。νννϵ

但是,在 -SVR中,您无法控制数据集中有多少个数据向量成为支持向量,可以是几个,也可以是很多。但是,您将完全控制模型将允许多少误差,并且超出指定ϵ的任何事物都会与C(正则化参数)成比例地受到惩罚。ϵϵC

根据我想要的,我在两者之间进行选择。如果我真的很渴望一个小的解决方案(支持向量更少),我选择 SVR并希望获得一个体面的模型。但是,如果我真的想控制模型中的错误数量并获得最佳性能,则选择ϵ -SVR并希望模型不太复杂(很多支持向量)。νϵ


5

-SVR和ν- SVR 之间的区别在于训练问题的参数化方式。两者都在成本函数中使用一种铰链损耗。ν- SVM中的ν参数可用于控制结果模型中支持向量的数量。给定适当的参数,可以解决完全相同的问题。1个ϵννν

最小二乘SVR通过在成本函数中使用平方残差而不是铰链损失来区别于其他两个。

1:C.-C。Chang和C.-J. 林 训练支持向量回归:理论和算法ν。神经计算,14(8):1959-1977,2002。


感谢您的回答Marc。那么我们可以根据已有的数据集来区分合适的方法吗?如果是这样,您能给我一些指导吗?我有40000个样本,具有200个不同的输出。因此,可以将其视为200套200个唯一样本。尽管所有40000的输入都是不同的,但仅200个样本的输出是唯一的。
Sharath Chandra

0

我喜欢Pablo和Marc的答案。还有一点:

在马克引用的论文中,有书面内容(第4节)

νϵϵϵÿ

[...]

ϵÿϵ[-1个+1个]ϵ[01个]νϵ

ϵϵ-ν-

你怎么看?

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.