2 梯度增强树（GBM）与Adaboost之间差异的直观解释 我试图了解GBM和Adaboost之间的区别。 这些是我到目前为止所了解的： 两种提升算法都可以从先前模型的错误中学习，最后对模型进行加权求和。 GBM和Adaboost的损失函数非常相似。 但是，我仍然很难理解它们之间的差异。有人可以给我直观的解释吗？ 48 boosting gbm adaboost
3 “弱学习者”是什么意思？ 谁能告诉我“弱学习者”是什么意思？它应该是一个弱假设吗？我对学习能力弱和分类能力弱的关系感到困惑。两者相同还是有所不同？ 在adaboost算法中，T=10。那是什么意思？我们为什么选择T=10？ 34 classification svm terminology adaboost pac-learning
2 深度学习与决策树和提升方法 我正在寻找可以比较和讨论（经验或理论上）的论文或文章： Boosting和决策树算法（例如Random Forests或AdaBoost和GentleBoost）应用于决策树。 与 深度学习方法，例如受限玻尔兹曼机，分层时间记忆，卷积神经网络等。 更具体地说，有人知道在速度，准确性或收敛性方面讨论或比较这两种机器学习方法的文章吗？另外，我正在寻找能够解释或总结第二个模块中的模型或方法之间差异（例如优缺点）的文本。 直接解决这种比较的任何指针或答案将不胜感激。 18 machine-learning deep-learning cart rbm adaboost
1 什么时候要使用AdaBoost？ 正如我听说AdaBoost分类器在工作中反复提到的那样，我想对它的工作原理以及何时使用它有更好的了解。我已经继续阅读了许多在Google上找到的关于它的论文和教程，但是分类器的某些方面仍然难以理解： 我见过的大多数教程都将AdaBoost视为找到许多分类器的最佳加权组合。这对我来说很有意义。没有意义的是AdaBoost似乎只接受一个弱学习者的实现（即MALLET）。这有什么意义？如果只有一个分类器提供给AdaBoost，是否不应该返回权重为1的相同分类器？它如何从第一个分类器产生新的分类器？ 何时真正要使用AdaBoost？我已经读过它应该是最好的即用型分类器，但是当我尝试提升MaxEnt分类器时，我得到的f分数达到70％以上，AdaBoost谋杀了它，并给了我f-得分大约是15％，而召回率却很高，而精度却很低。所以现在我很困惑。我什么时候想使用AdaBoost？如果可能的话，我正在寻找更多的直观而不是严格的统计答案。 14 machine-learning boosting adaboost
2 提升Logistic回归模型 Adaboost是一种集成方法，它结合了许多弱学习者，形成了一个强大的学习者。我已经阅读过的所有关于adaboost的例子都将决策树/树用作弱学习者。我可以在adaboost中使用其他弱学习者吗？例如，如何实现adaboost（通常为boosting）来增强logistic回归模型？ 分类树和逻辑回归的主要区别之一是前者输出类别（-1,1），而逻辑回归输出概率。一个想法是从一组特征中选择最佳特征X，并选择一个阈值（0.5？）将概率转换为类，然后使用加权逻辑回归来找到下一个特征，等等。 但是我认为，存在一种通用的算法来促进不同的弱学习者，而不是那些输出概率的决策树桩。我相信Logitboost是我的问题的答案，但我尝试阅读“ Additive Logistic Regression”（加性Logistic回归）论文，并陷入了中间。 11 logistic adaboost
1 如何比较观察到的事件与预期的事件？ 假设我有一个频率为4个可能的事件的样本： Event1 - 5 E2 - 1 E3 - 0 E4 - 12 并且我具有发生事件的预期概率： p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 利用我四个事件的观测频率之和（18），我可以计算事件的预期频率，对吗？ expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 = 1.8 expectedE1 - … 9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom