机器学习与深度学习

我对“机器学习”和“深度学习”这两个术语之间的区别感到困惑。我已经用Google搜索并阅读了许多文章，但是对我来说仍然不是很清楚。

Tom Mitchell对机器学习的一个已知定义是：

据说一个计算机程序可以从经验E中学习有关某类任务T和性能度量P的信息，如果计算机对T中任务的性能（由P度量）随经验E的提高而有所提高。

如果我将猫和狗分类为taks T的图像分类问题，从这个定义中我了解到，如果我给ML算法提供一堆狗和猫的图像（经验E），则ML算法可以学习如何区分新图像是狗还是猫（前提是性能指标P定义明确）。

然后是深度学习。我了解深度学习是机器学习的一部分，并且上述定义成立。任务T的性能随经验E的提高而提高。到目前为止一切都很好。

该博客指出，机器学习和深度学习之间是有区别的。根据Adil的不同，在（传统）机器学习中，功能必须是手工制作的，而在深度学习中，功能是必须学习的。下图阐明了他的说法。

我对（传统）机器学习中的功能必须手工制作感到困惑。根据汤姆·米切尔（Tom Mitchell）的上述定义，我认为可以从经验E和性能P了解这些功能。机器学习还可以学到什么？

在深度学习中，我了解到，根据经验，您将学习功能以及它们之间的相互关系以提高性能。我是否可以得出结论，在机器学习中功能必须是手工制作的，所学到的是功能的组合？还是我想念其他东西？

除了Himanshu Rai所说的那样，深度学习是涉及神经网络使用的一个子领域，这些神经网络试图通过修改各层之间的权重来学习基础分布。现在，考虑使用深度学习进行图像识别的情况：将神经网络模型划分为各层，这些层通过称为权重的链接连接，随着训练过程的开始，这些层会调整权重，以便每一层都尝试检测某些特征并帮助下一层进行处理。需要注意的关键点是，我们没有明确地告诉该层学习检测边缘，眼睛，鼻子或脸部。模型学习本身就是这样做的，这不同于传统的机器学习模型。

作为研究领域，深度学习实际上只是机器学习的一个子领域，因为机器学习是人工智能的一个子领域。

1）无监督特征学习

从概念上讲，“ 传统 ”（或“ 浅 ”）机器学习与深度学习之间的第一个主要区别是无监督特征学习。

如您所知，只有经过适当的预处理和明智的特征提取以从数据中选择有意义的信息之后，才能成功地训练“ 传统的 ”机器学习模型（例如：SVM，XGBoost ...）。即，良好的特征向量包含在具有不同标签的数据点之间不同并且在具有相同标签的数据点之间一致的特征。因此，特征工程是专家手动选择特征的过程。这是非常重要但乏味的任务！

无监督特征学习是模型本身通过训练自动选择特征的过程。在相互连接的层中组织的神经网络的拓扑具有将数据的低级表示映射到高级表示的良好特性。通过培训，网络可以“ 决定 ”数据的哪一部分重要，数据的哪一部分无关紧要。这在计算机视觉或自然语言处理中特别有趣，因为手动视觉或自然语言处理很难手动选择或设计强大的功能。

（图片来源：托尼·贝尔特拉梅利）

例如，假设我们要对猫的图片进行分类。使用Deep Neural Net，我们可以输入原始像素值，该像素值将被第一层映射到一组权重，然后这些权重将被第二层映射到其他权重，直到最后一层允许某些权重被映射到代表您的问题的数字。（例如：在这种情况下，图片包含猫的概率）

即使深度神经网络可以执行无监督的特征学习，它也不会阻止您自己进行特征工程以更好地表达您的问题。 无监督的特征学习，特征提取和特征工程并不是相互排斥的！

资料来源：

• http://deeplearning.stanford.edu/tutorial/
• https://arxiv.org/abs/1404.7828
• https://arxiv.org/abs/1512.05616（第2章，第2节）

2）线性可分离性

深度神经网络可以通过弯曲特征空间以使特征变为线性可分离的方式来解决一些非线性可分离的问题。再次，这是有可能的，这要归功于分层组织的网络拓扑，将输入映射到数据的新表示形式。

（图片来源：克里斯托弗·奥拉）

资料来源：http : //colah.github.io/posts/2014-03-NN-Manifolds-Topology/

3）统计不变性

最后，由于某些架构展示了统计不变性（例如：卷积神经网络的空间统计不变性和递归神经网络的时间统计不变性），因此深度神经网络在某些领域超越了传统的机器学习算法。

观看此Udacity视频以了解更多详细信息：https : //www.youtube.com/watch?v= 5PH2Vot-tD4

受爱因斯坦的启发，““如果您不能向六岁的孩子解释它，那么您自己也不会理解。”

以上所有答案都得到了很好的解释，但是如果您正在寻找一种容易记住的抽象差异，那么这就是我所知道的最好的答案：

关键区别在于机器学习仅摘要数据，而深度学习可以生成和增强数据。它不仅是预测性的，而且是生成性的。

资源。当然，它还有更多的功能，但是对于初学者来说，它可能会变得过于混乱。

好吧，这样想吧。在诸如线性回归或随机森林之类的机器学习算法中，您为算法提供了一组特征和目标，然后尝试最小化成本函数，因此，它不学习任何新特征，而只是学习权重。现在，当您进行深度学习时，您将拥有至少一个（几乎总是更多）隐藏层，并具有一定数量的单位，这些是我们正在谈论的功能。因此，深度学习算法不仅学习权重集，而且在此过程中还学习隐藏单元的值，这些隐藏单元是您提供的琐碎数据的复杂高级特征。因此，在练习香草机器学习时，您的许多能力都取决于您设计特征的能力，因为算法本身并不学习任何东西。希望我回答了你的问题。