Adaboost是一种集成方法，它结合了许多弱学习者，形成了一个强大的学习者。我已经阅读过的所有关于adaboost的例子都将决策树/树用作弱学习者。我可以在adaboost中使用其他弱学习者吗？例如，如何实现adaboost（通常为boosting）来增强logistic回归模型？
分类树和逻辑回归的主要区别之一是前者输出类别（-1,1），而逻辑回归输出概率。一个想法是从一组特征中选择最佳特征X，并选择一个阈值（0.5？）将概率转换为类，然后使用加权逻辑回归来找到下一个特征，等等。
但是我认为，存在一种通用的算法来促进不同的弱学习者，而不是那些输出概率的决策树桩。我相信Logitboost是我的问题的答案，但我尝试阅读“ Additive Logistic Regression”（加性Logistic回归）论文，并陷入了中间。
Answers:
不要混淆预测变量的处理（通过基础学习者，例如树桩）和增强中损失函数的处理。尽管可以将AdaBoost看作是找到基础学习者的组合以最大程度地减少错误分类错误，但您引用的“ Additive Logistic Regression”（可加逻辑回归）论文也表明可以将AdaBoost 公式化为最小化指数损失函数。这种见解为解决广泛的机器学习问题开辟了一种增强方法，该方法通过梯度增强将可微分的损失函数降至最低。在每个步骤中拟合的残差是根据损失函数的梯度计算得出的伪残差。即使将预测变量建模为二进制树桩，该模型的输出也不必是二进制选择。
另一个答案指出，线性基础学习者可能无法工作，但无论是标准意义还是逻辑意义上的“增强回归”都不需要线性基础学习者。可以确定地将非线性树桩组合为慢速基础学习器，以最大程度地减少适当的损失函数。即使它与预测变量系数线性的标准回归模型相去甚远，它仍被称为“增强回归”。对于具有树桩或树木作为预测变量的线性模型和“增强回归”模型，损失函数在功能上可以相同。ISLR的第8章对此很清楚。
因此，如果您想要与增强回归等效的逻辑回归，则应关注损失函数而不是基础学习者。这就是您在论文中引用的LogitBoost方法的作用：将对数损失而不是adaboost中隐含的指数损失最小化。Wikipedia AdaBoost页面描述了这种区别。
该站点上的许多参与者都认为基于对数/概率的预测比严格的是/否分类预测更可取，因为前者更普遍地允许在假阳性和假阴性预测的额外成本之间进行权衡。正如您对相关问题的回答所表明的那样，可以从源自AdaBoost的强分类器中获得估计的概率，但是LogitBoost可能会提供更好的性能。
用于分类的梯度增强的实现可以提供有关潜在概率的信息。例如，有关梯度增强的页面显示了sklearn代码如何在逻辑回归的偏差损失和AdaBoost的指数损失之间进行选择，并记录了函数以从梯度增强模型预测概率。
实际上，我们在回归案例中有一个非常相似的问题。@Matthew Drury给了我们很好的答复
线性模型（例如逻辑回归）不利于提升。原因是如果将两个线性模型加在一起，则结果是另一个线性模型。另一方面，添加两个决策树桩或树，将具有更复杂和有趣的模型（不再是树）。
详细信息可以在这篇文章中找到。在此链接中，我得出了为什么添加两个线性模型并不有趣的原因。而且我正在展示通过迭代提高决策树桩迭代的效果。
线性基础学习器如何促进学习？以及它如何在xgboost库中工作？
注意，决策树/树桩不是类似于逻辑回归的“线性模型”。
详情请参阅这篇文章