模式识别任务中最先进的集成学习算法？

14

这个问题的结构如下：首先，我提供整体学习的概念，进一步提供模式识别任务的列表，然后给出整体学习算法的示例，最后介绍我的问题。那些不需要所有补充信息的人可能只是看标题，直接回答我的问题。

什么是整体学习？

根据维基百科的文章：

在统计和机器学习中，集成方法使用多种学习算法来获得比单独从任何组成学习算法中获得的更好的预测性能。与通常是无限的统计力学中的统计集合不同，机器学习集合仅指的是一组有限的替代模型的具体有限集合，但通常允许在这些替代模型之间存在更灵活的结构。

模式识别任务的示例：

集成学习算法的示例：

以下用于PR任务的集成学习算法（根据Wiki）：

集成学习算法（将多种学习算法结合在一起的监督元算法）：

Boosting（主要用于减少偏见的机器学习集成元算法，以及在监督学习中的差异，以及将弱学习者转换为强学习者的一系列机器学习算法）

Bootstrap聚合（“ 装袋 ”）（一种机器学习集成元算法，旨在提高统计分类和回归中使用的机器学习算法的稳定性和准确性）。

集合平均（创建多个模型并将其组合以产生所需输出的过程，而不是仅创建一个模型。通常，一组模型的性能要优于任何单个模型，因为模型的各种错误会“平均化”。）

专家混合，专家分层混合

不同的实现

神经网络的集合（一组神经网络模型，通过对各个模型的结果求平均值来进行决策）。

随机森林（一种用于分类，回归和其他任务的整体学习方法，通过在训练时构造大量决策树并输出作为个体的类（分类）或均值预测（回归）模式的类来进行操作树木）。

AdaBoost（将其他学习算法（“弱学习者”）的输出合并为一个加权总和，该总和代表增强分类器的最终输出）。

另外：

使用一个神经网络组合不同分类器的方法
胜任范围法

我的问题

哪种集成学习算法被认为是当今最先进的，并且在企业和组织中实际用于实践中（用于面部检测，车牌识别，光学字符识别等）？应该使用集成学习算法来提高识别精度并导致更好的计算效率。但是，现实中的事情会这样吗？

哪种集成方法可能在模式识别任务中显示出更好的分类准确性和性能？也许，某些方法现在已经过时，或者已经证明无效。由于某些新算法的优势，现在可能不再使用集成方法了。那些在该领域有经验或在该领域有足够知识的人，您能帮助澄清问题吗？

— 尔巴·艾特巴耶夫（Erba Aitbayev）
source

我最近听到的是人们喜欢XGBoost，它在几次Kaggle比赛中都表现出了非常出色的表现。

— Sangwoong Yoon

答案很短：给出最佳简历得分的答案。通常是在堆叠

— Alexey Grigorev

集成模型的成功与否取决于集成的成员模型和数据的性质。集合工作是因为成员模型产生了一定程度的多样性。没有您放入集合中的那些模型和相关数据集的详细信息，您的问题可能无法回答。

— horaceT

9

最新的算法可能与行业生产中使用的算法不同。而且，后者可以投资于微调更基本的（通常更具解释性）的方法，以使其比学者更好地工作。

示例1：根据TechCrunch的说法，Nuance将于今年9月开始在其Dragon语音识别产品中使用“深度学习技术”。

示例2：Chiticariu，Laura，Li Yunyao Li和Frederick R. Reiss。“基于规则的信息提取已死！基于规则的万寿万岁的信息提取系统！”。在EMNLP中，不。十月，第827-832页。2013。https : //scholar.google.com/scholar ? cluster = 12856773132046965379 &hl= zh-CN & as_sdt =0,22；http://www.aclweb.org/website/old_anthology/D/D13/D13-1079.pdf

话虽这么说：

哪种集成学习算法被认为是当今最先进的

最先进的图像分类系统之一就是合奏（就像我所知道的大多数其他系统一样）：He，Kaiming，张向宇，任少清和孙健。“用于图像识别的深度残差学习。” arXiv预印本arXiv：1512.03385（2015）。https://scholar.google.com/scholar?cluster=17704431389020559554&hl=zh-CN&as_sdt=0,22 ; https://arxiv.org/pdf/1512.03385v1.pdf

— 弗兰克·德农库特
source

3

我想可以说深度学习在计算机视觉的大多数子领域（分类，检测，超分辨率，边缘检测等）中都是最先进的，除了像SLAM这样非常具体的任务，其中深度学习尚未与现有方法相提并论。

通常会使用一些额外的百分比来赢得竞争网络的平均费用，但是网络变得如此优秀以至于不再重要了。

在生产中完全不同。大公司通常依靠已被证明是有效的旧算法，并且现有的专家对使用它们的知识和实践已有多年的经验。
加上在供应链中集成新算法需要大量时间。我认为有些相机公司仍在使用Viola Jones检测器进行人脸检测，并且我知道SIFT在工业上的许多应用中都得到了广泛使用。

他们仍然对被认为是危险的黑匣子的深度学习方法持怀疑态度。
但是这些算法令人印象深刻的结果使人们改变了主意，进展缓慢。

初创企业更愿意使用此类解决方案，因为它们必须拥有创新的解决方案才能获得资金。

我想说，即使在两者之间发现了更有效的方法，二十年来大多数基于计算机视觉的产品仍将使用深度学习。
弗朗克的答案是，深度学习的变化是如此之快，以至于开明的ResNets不再是最先进的技术。密集连接的卷积网络和SGD重新启动的广域网和深度网络现在在EDIT CIFAR和SVHN 上都是SOTA ，甚至可能在Imagenet上也是如此ILSVRC 2016年9月16日的结果可能会在几天后发生变化。

如果您对MS-COCO上的更多最新结果感兴趣，则现有的最具挑战性的检测数据集将在10月的ECCV上发布。

— 吉恩
source

1

实际上，经过仔细检查，我引用的文章并未在Imagenet上提及其结果！所以这是我的错！但是，由于它们在CIFAR和SVHN上要优越得多，因此我认为Imagenet上它们必须相同，但您永远不会知道。我想他们没有提到等待ILSVRC的结果，但我可能错了！

— 让·吉恩

1

@FranckDernoncourt如此疯狂的结果非常令人兴奋，但也可能给想要在该领域发表的人们带来很大压力，这可能会导致错误，例如今天臭名昭著的SARM文章，作者今天从NIPS撤回了该文章。

— jean

谢谢，是的，我确实看到了，但是没有机会查看该论文……我正在用所有这些新的ANN PDF清空我的阅读列表：/

— Franck Dernoncourt

这次SARM撤回事件使我重新考虑了统计数据的可再现性危机。多少实施细则应在审查过程中是必需的，有多少是太少，等等

— horaceT

2

您的问题涉及很多假设，通常要找到最佳模型，需要对数据中的大多数进行测试。仅仅因为理论上模型可以产生更准确的结果，并不意味着它将始终产生误差最低的模型。

话虽如此...神经网络合奏可以非常准确，只要您可以接受黑匣子即可。节点数和层数的变化都可以覆盖数据中的许多差异，通过引入许多建模因素，很容易过拟合数据。

随机森林很少能产生最准确的结果，但是经过增强的树可以像您讨论的AI任务中那样为复杂的关系建模，而不会出现过度拟合的风险。

有人会想，为什么不将所有这些模型整合在一起，但是这种模型会折衷各个模型的可能优势。同样，这可能会导致一些过拟合的问题。

计算效率高的模型是另一回事，我不会从非常复杂的神经网络入手。以神经网络为基准，以我的经验，使用增强树最有效。

这是基于我的经验以及对所讨论的每种建模类型所基于的理论的合理理解。

— 抢
source