我有计算机科学背景，但是正在尝试通过解决Internet问题来自学数据科学。

在过去的几周里，我一直在研究这个问题（大约900行和10个功能）。我最初使用逻辑回归，但是现在我切换到了随机森林。当我在训练数据上运行随机森林模型时，auc的值非常高（> 99％）。但是，当我在测试数据上运行相同的模型时，结果并不是很好（准确度约为77％）。这使我相信我已经过度适合训练数据了。

关于防止随机森林过度适应的最佳实践是什么？

我正在使用r和rstudio作为开发环境。我正在使用该randomForest软件包，并且已接受所有参数的默认值

为了避免在随机森林中过度拟合，您需要做的主要事情是优化调整参数，该参数控制从引导数据中随机选择来生长每棵树的要素数量。通常，您可以通过倍交叉验证来执行此操作，其中，然后选择最小化测试样本预测误差的调整参数。此外，种植大片森林将提高预测的准确性，尽管一旦您获得几百棵树，通常收益会递减。ķ ∈ { 5 ，10 $k$$k \in \{5, 10\}$

您如何从训练数据中获得99％的AUC？请注意，两者之间存在差异

predict(model)

和

predict(model, newdata=train)

获取训练数据集的预测时。第一种选择是从随机森林中获得袋外预测。将预测值与训练数据的实际值进行比较时，通常这就是您想要的。

第二个方法将您的训练数据视为新数据集，然后将观察结果沿着每棵树运行。这将导致预测值与实际值之间人为地紧密相关，因为RF算法通常不会修剪单个树，而是依靠树的集合来控制过度拟合。因此，如果您想对训练数据进行预测，请不要这样做。

对于决策树，有两种处理过度拟合的方法：（a）不要将树全部生长（b）修剪

树木的森林也是如此-不要过分修剪它们。

我用的不是randomForest很多，但是据我所知，有几个参数可用于调整森林：

• nodesize -终端节点的最小大小
• maxnodes -终端节点的最大数量
• mtry -用于构建每棵树的变量数量（感谢@ user777）

您可能希望使用交叉验证方法，例如K折交叉验证。

您可以使用gridsearch调整参数

from sklearn.ensemble import RandomForestClassifier

from sklearn.grid_search import GridSearchCV

random_classifier = RandomForestClassifier()

parameters = { 'max_features':np.arange(5,10),'n_estimators':[500],'min_samples_leaf': [10,50,100,200,500]}

random_grid = GridSearchCV(random_classifier, parameters, cv = 5)

尝试在[5，15]的范围内调整max_depth参数，但不要超过此范围，因为如果您选择较大的深度，则极有可能过度拟合。