深度学习与决策树和提升方法


18

我正在寻找可以比较和讨论(经验或理论上)的论文或文章:

更具体地说,有人知道在速度,准确性或收敛性方面讨论或比较这两种机器学习方法的文章吗?另外,我正在寻找能够解释或总结第二个模块中的模型或方法之间差异(例如优缺点)的文本。

直接解决这种比较的任何指针或答案将不胜感激。

Answers:


1

您可以更详细地了解正在查看的数据类型吗?这将部分确定哪种算法收敛最快。

我也不确定如何比较boosting和DL等方法,因为boosting实际上只是方法的集合。您还使用其他哪些算法?

通常,DL技术可以描述为编码器/解码器的层。无监督预训练的工作原理是,首先通过编码信号,解码信号然后测量重建误差来对每个层进行预训练。然后可以使用调整来获得更好的性能(例如,如果使用去噪堆叠自动编码器,则可以使用反向传播)。

DL理论的一个很好的起点是:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

以及这些:

http://portal.acm.org/citation.cfm?id=1756025

(对不起,由于垃圾邮件过滤系统,不得不删除最后一个链接)

我没有提供有关RBM的任何信息,但是它们之间有着密切的联系(尽管一开始个人较难理解)。


感谢@f(x),我对(2D或3D)像素段或面片的分类感兴趣,但我想让原始问题尽可能地笼统。如果不同的方法在不同类型的数据集上效果最佳,那么我将对解决这些差异的讨论感兴趣。
Amelio Vazquez-Reina

1
通常在图像处理方面,DL方法将充当特征提取器,然后可以与SVM配对以进行分类。这些方法通常可以与手工设计的方法(如SIFT,SURF和HOG)相媲美。DL方法已扩展到具有门控CRBM和ISA的视频。手工设计的方法包括HOG / HOF,HOG3d和eSURF(有关比较,请参见Wang等,2009)。
user5268 2011年

1

好问题!自适应增强和深度学习都可以归类为概率学习网络。区别在于,“深度学习”专门涉及一个或多个“神经网络”,而“增强”是一种“元学习算法”,需要一个或多个称为弱学习者的学习网络,该网络可以是“任何东西”(即神经网络,决策树等)。Boosting算法利用其弱学习者网络中的一个或多个来形成所谓的“强学习者”,这可以显着地“提升”整个学习网络的结果(即Microsoft的Viola和Jones Face Detector,OpenCV)。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.