梯度提升机的精度随着迭代次数的增加而降低

我正在通过caretR中的程序包尝试使用梯度增强机算法。

使用一个小的大学录取数据集，我运行了以下代码：

library(caret)

### Load admissions dataset. ###
mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv")

### Create yes/no levels for admission. ### 
mydata$admit_factor[mydata$admit==0] <- "no"
mydata$admit_factor[mydata$admit==1] <- "yes"             

### Gradient boosting machine algorithm. ###
set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

令我惊讶的是，随着增强迭代次数的增加，模型的交叉验证准确性下降而不是增加，在〜450,000迭代时达到约0.59的最低精度。

我是否错误地实现了GBM算法？

编辑：按照Underminer的建议，我重新运行了上面的caret代码，但专注于运行100到5,000次增强迭代：

set.seed(123)
fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary)
grid <- expand.grid(n.trees = seq(100,5000,100), interaction.depth = 2, shrinkage = .001, n.minobsinnode = 20)
fit.gbm <- train(as.factor(admit_factor) ~ . - admit, data=mydata, method = 'gbm', trControl=fitControl, tuneGrid=grid, metric='Accuracy')
plot(fit.gbm)

结果图表明，在约1,800次迭代中，精度实际上达到了近.705的峰值：

令人好奇的是，精度没有稳定在〜.70左右，而是在5,000次迭代后下降了。

通常，增强误差会随着迭代次数的增加而增加，尤其是在数据嘈杂时（例如，标注错误的情况）。这可能是您的问题，但如果不了解您的数据，我将无法说出来

基本上，提高效率可以将“重点”放在正确预测包含错误信息的案例上，并且在此过程中，会使其他实质性案例的平均绩效下降。

这个链接（Boosting和Noise）显示了比我可以提供的更好的描述。

Long和Servedio的这篇论文（《随机分类噪声》）提供了该问题的更多技术细节。

您显示的是过度拟合的经典示例。错误的少量上升是由于交叉验证的数据集的验证部分的性能较差。更多的迭代几乎总会改善训练集上的错误，但是对于验证/测试集，情况恰恰相反。

无需网格搜索即可产生相似结果的代码，

mod = gbm(admit ~ .,
      data = mydata[,-5],
      n.trees=100000,
      shrinkage=0.001,
      interaction.depth=2,
      n.minobsinnode=10,
      cv.folds=5,
      verbose=TRUE,
      n.cores=2)

best.iter <- gbm.perf(mod, method="OOB", plot.it=TRUE, oobag.curve=TRUE, overlay=TRUE)
print(best.iter)
[1] 1487
pred = as.integer(predict(mod, newdata=mydata[,-5], n.trees=best.iter) > 0)
y = mydata[,1]
sum(pred == y)/length(y)
[1] 0.7225

gbm套件具有估算最佳迭代次数的功能（=树的数量或基函数的数量），

gbm.perf(mod, method="OOB", plot.it=TRUE, oobag=TRUE, overlay=TRUE)

您不需要插入符号的训练。