您如何检测高斯过程是否过度拟合？

我正在通过最大化数据的边际似然性（而不是交叉验证）来训练带有许多参数的ARD内核的高斯过程。

我怀疑这太合身了。我如何在贝叶斯背景下检验这种怀疑？

最简单的方法是将高斯过程与非ARD等效协方差函数（通常为RBF）拟合，并比较测试错误率。对于许多问题，由于过度调整超参数，ARD协方差函数的性能比非ARD协方差函数差。由于RBF协方差是ARD协方差的特例，因此如果RBF表现更好，则有力表明ARD内核过拟合（开始以对应RBF协方差的最佳值开始优化ARD系数，这是更快，并且还有助于确保ARD协方差的问题不仅是由于边缘可能性的局部极小值引起的。这是一个比通常认为的要大得多的问题。

我为此写了几篇论文：

GC Cawley和NLC Talbot，通过超参数的贝叶斯正则化防止模型选择期间的过度拟合，《机器学习研究杂志》，第8卷，第841-861页，2007年4月（pdf）

和

GC Cawley和NLC Talbot，模型选择中的过拟合和性能评估中的后续选择偏差，《机器学习研究杂志》，2010年。11，pp.2079-2107，2010年7月（pdf）

第一个实验包括GP的一些实验，这些实验表明，对于基于边际似然最大化模型选择的GP，模型选择中的过拟合也是一个问题。

更全面的分析将是在优化边际可能性的过程中的每个步骤上评估GP的测试误差。您很有可能会获得经典的过度拟合特征，模型选择准则会单调递减，但测试误差最初会降低，但随后随着模型选择准则过度优化而再次上升（参见2010 JMLR论文中的图2a）。