Gamma参数与支持向量机一起使用


9

使用时libsvm,参数是内核函数的参数。其默认值设置为γ

γ=1个功能数量。

除了现有方法(例如网格搜索)以外,是否有任何理论指导来设置此参数?

Answers:


8

我建议以下理论指导。当您使用高斯RBF内核时,您的分离表面将基于以每个支持向量为中心的钟形表面的组合。每个钟形表面的宽度将与γ。如果此宽度小于数据的最小成对距离,则实际上是过度拟合。如果此宽度大于数据的最大成对距离,则所有点将归为一类,并且您也不会有良好的性能。因此,最佳宽度应介于这两个极端之间。


pair-wise distance for your data=缩放后的简单欧几里得距离?
ihadanny 2015年

5

不,它本质上取决于数据。如果您只需要调整少量的超参数,但是没有使网格分辨率变得太精细,或者您可能过度适应调整,则网格搜索(基于对数转换的超参数)是一种非常好的方法标准。对于具有大量内核参数的问题,我发现Nelder-Mead单纯形法效果很好。


Dikran,谢谢您的回答。您能否详细说明“数据相关”?r和一组数据之间有什么关系?或者换句话说,给定一组数据,是否有一种方法可以基于这些数据定义r?
2012年

1
从本质上讲,“取决于数据”只是意味着最佳设置会根据数据的特定结构而有所不同,并且没有比减少交叉验证错误更好的设置方法。内核方法确实可以对如何学习内核进行更多的理论分析,但是不幸的是,这在数学上非常困难。
Dikran Marsupial 2012年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.