为什么不总是使用集成学习？

在我看来，集成学习将始终比仅使用单个学习假设提供更好的预测性能。

那么，为什么我们不一直使用它们呢？

我的猜测可能是因为计算方面的限制？（即使那样，我们也使用弱预测变量，所以我也不知道）。

通常，它总是会表现更好是不正确的。有几种集成方法，每种方法都有其自身的优点/缺点。使用哪个，然后取决于当前的问题。

例如，如果您的模型具有较高的方差（它们过度拟合了数据），那么您可能会受益于使用装袋。如果您对模型有偏见，最好将它们与Boosting结合使用。也有不同的策略来形成合奏。该主题太宽泛，无法在一个答案中涵盖。

但是我的意思是：如果您对设置使用了错误的集成方法，那么您将无法做得更好。例如，将Bagging与偏差模型结合使用将无济于事。

另外，如果您需要在概率环境中工作，则合奏方法也可能不起作用。这是众所周知的是增压（在其最流行的形式类似的AdaBoost）主罚差的概率估计。也就是说，如果您希望拥有一个可以推理数据的模型，而不仅仅是分类，那么使用图形模型可能会更好。