XGBoost vs Python Sklearn梯度增强树

我试图了解XGBoost的工作原理。我已经了解了梯度增强树如何在Python sklearn上工作。我不清楚XGBoost是否以相同的方式工作，但速度更快，或者它与python实现之间存在根本差异。

当我读这篇论文时

http://learningsys.org/papers/LearningSys_2015_paper_32.pdf

在我看来，XGboost的最终结果与Python实现中的结果相同，但是主要区别在于XGboost如何在每个回归树中找到最佳分割。

基本上，XGBoost提供相同的结果，但是速度更快。

这是正确的，还是我还缺少其他东西？

没错，XGBoost（“ eXtreme Gradient Boosting”）和sklearn的GradientBoost从本质上来说都是相同的，因为它们都是渐变增强的实现。

但是，从实际意义上说，引擎盖下有很大的不同。XGBoost 比sklearn的速度要快得多（请参阅http://machinelearningmastery.com/gentle-introduction-xgboost-applied-machine-learning/）。XGBoost的内存效率很高，并且可以并行化（我认为sklearn默认情况下不能这样做，我不完全了解sklearn的内存效率，但是我非常有信心它低于XGBoost的内存效率）。

两者结合使用后，XGBoost的速度令人印象深刻，其性能优于sklearn的GradientBoosting。

与Sklearn的梯度增强不同，Xgboost还会对树进行正则化，以避免过度拟合，并且还可以有效地处理缺失值。以下链接可能有助于准确了解xgboost https://www.youtube.com/watch?v=Vly8xGnNiWs

XGboost是GBDT的实现，它具有行列化功能（它使用了列采样和行采样），可以通过不使用GBDT的每个基本模型的所有训练数据来进行行采样。我们不对每个基本模型使用所有训练数据，而是对行的子集进行采样，并仅使用这些数据行来构建每个基本模型。这确保了过拟合的机会较小，这是简单GBDT的一个主要问题，XGBoost试图使用这种随机化来解决。