SVM网格搜索是否应显示周围的准确性较低的高精度区域？

我有12个积极的训练集（用药物治疗的癌细胞具有12种不同的作用机制中的每一种）。对于这些正面训练集，我想训练一个支持向量机，以将其与从实验中采样的大小相等的负面集合区分开来。每组具有1000到6000个像元，每个像元有476个特征（图像特征），每个特征线性缩放为[0，1]。

我使用LIBSVM和高斯RGB内核。使用五重交叉验证，我对log 2 C∈[-5，15]和log 2ɣ∈[-15，3]进行了网格搜索。结果如下：

令我感到失望的是，没有一个参数集可以为所有12个分类问题提供高精度。我也感到惊讶的是，网格通常不会显示出由较低精度包围的高精度区域。这是否仅表示我需要扩展搜索参数空间，还是网格搜索是否表明存在其他问题？

对于不同的学习任务，超参数的最佳值将有所不同，您需要针对每个问题分别进行调整。

之所以没有一个最优值，是因为内核参数和正则化参数都控制着模型的复杂性。如果C很小，您将得到一个平滑模型，如果C的内核很宽，同样，您将得到一个平滑模型（因为基本函数不是很局部）。这意味着C和内核宽度的不同组合会导致相似的复杂模型和相似的性能（这就是为什么在许多图形中都有对角线特征的原因）。

最佳值还取决于训练集的特定采样。可能会过度拟合交叉验证错误，因此，如果运气不好，通过交叉验证选择超参数实际上会使性能变差。请参阅Cawley和Talbot对此进行一些讨论。

支持您获得相似好的值的超参数具有宽泛的平稳期这一事实实际上是支持向量机的一个好功能，因为它表明它们在模型选择中不太容易过拟合。如果您在最佳值处有一个尖锐的峰，那将是一件坏事，因为很难使用有限的数据集找到该峰，这将无法可靠地指示该峰实际位于何处。