什么时候要使用AdaBoost?


14

正如我听说AdaBoost分类器在工作中反复提到的那样,我想对它的工作原理以及何时使用它有更好的了解。我已经继续阅读了许多在Google上找到的关于它的论文和教程,但是分类器的某些方面仍然难以理解:

  1. 我见过的大多数教程都将AdaBoost视为找到许多分类器的最佳加权组合。这对我来说很有意义。没有意义的是AdaBoost似乎只接受一个弱学习者的实现(即MALLET)。这有什么意义?如果只有一个分类器提供给AdaBoost,是否不应该返回权重为1的相同分类器?它如何从第一个分类器产生新的分类器?

  2. 何时真正要使用AdaBoost?我已经读过它应该是最好的即用型分类器,但是当我尝试提升MaxEnt分类器时,我得到的f分数达到70%以上,AdaBoost谋杀了它,并给了我f-得分大约是15%,而召回率却很高,而精度却很低。所以现在我很困惑。我什么时候想使用AdaBoost?如果可能的话,我正在寻找更多的直观而不是严格的统计答案。

Answers:


11

Adaboost可以使用具有不同参数的同一分类器的多个实例。因此,先前的线性分类器可以被组合为非线性分类器。或者,正如AdaBoost人们喜欢说的那样,多个弱学习者可以使一个强学习者。一个好的图片可以找到这里,在底部。

基本上,它与任何其他学习算法一样:在某些数据集上有效,在某些数据集上无效。肯定有出色的数据集。也许您尚未选择合适的弱者。您是否尝试过逻辑回归?您是否看到了添加学习者过程中决策界限的演变过程?也许您可以说出问题所在。


(+1)。补充说明:即使弱学习者的参数没有不同,行为(即他们的预测)也会随数据集结构(如增强)的变化而变化。
steffen 2011年

MaxEnt是逻辑回归。可视化决策边界如何演变实际上将非常有用。一个人该怎么做呢?而且,我仍然不了解当AdaBoost仅具有一种功能集和一种分类器类型(如MALLET)时,它仍如何工作。在我看来,这似乎完全违反直觉。
YuliaPro 2011年

只需绘制数据集即可。另外,绘制一个网格,您可以在其中为每个点选择一种颜色,以供系统对其进行分类。我猜这只对2D有效。您仍然可以绘制最重要的轴或其他东西。如果您只有一个功能集和一个分类器,那么它将减少为一个分类器。我的印象是,最大熵是一个范式,而不是一个具体的分类器。无论如何。
2011年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.