这篇关于深度学习的幻灯片有多真实，声称从1980年代开始的所有改进仅归功于更多的数据和更快的计算机？

我正在听一个演讲，看到了这张幻灯片：

这是真的吗？

我在浏览AI StackExchange时遇到一个非常相似的问题：“深度学习”与其他神经网络有什么区别？

由于AI StackExchange将于明天（再次）关闭，因此我将在此处复制两个最重要的答案（根据cc by-sa 3.0授权的用户贡献，并需要提供出处）：

作者：mommi84less

2006年有两篇引文广受赞誉的论文将研究兴趣带回到了深度学习。在“深度信任网的快速学习算法”中，作者将深度信任网定义为：

密集连接的信念网具有许多隐藏层。

在“深度网络的贪婪分层明智训练 ”中，我们发现了与深度网络几乎相同的描述：

深度多层神经网络具有许多级别的非线性[...]

然后，在调查报告“代表性学习：回顾和新观点”中，深度学习被用于涵盖所有技术（另请参阅本演讲），其定义为：

构造多层表示或学习功能层次。

因此，以上作者使用了形容词“ deep”来强调使用多个非线性隐藏层。

作者：lejlot

只是添加到@ mommi84答案。

深度学习不限于神经网络。这不仅仅是Hinton的DBN等更广泛的概念。深度学习是关于

构建多层次的表示或学习功能层次。

因此，它是分层表示学习 算法的名称。有很多基于隐马尔可夫模型，条件随机场，支持向量机等的深度模型。唯一的共同点是，特征工程不是（在90年代流行），而是研究人员试图创建特征集，即解决某些分类问题的最佳方法-这些机器可以从原始数据中得出自己的表示形式。特别是-应用于图像识别（原始图像）时，它们会生成多级表示，包括像素，线条，然后是鼻子，眼睛等人脸特征（如果我们使用人脸），最后是广义人脸。如果应用于自然语言处理-它们会构建语言模型，该模型将单词连接成块，将块连接成句子等。

另一个有趣的幻灯片：

资源

据说辍学于2006年从欣顿（Hinton）进行，这是过去十年来深度学习的最大进步，因为它减少了很多过拟合的情况。

这无疑是一个引起争议的问题。

在深度学习中使用神经网络时，通常会以1980年代未使用的方式对其进行训练。特别地，要求对神经网络的各个层进行预训练以识别不同级别的特征的策略使训练具有多个层的网络变得更加容易。这无疑是自1980年代以来的新发展。

关键是深度学习中的“深度”一词。有人（忘REF）在80年代证明了所有非线性函数可以由近似单用层的神经网络，当然，足够大量的隐藏单元。我认为这个结果可能会阻止人们在早期时代寻求更深层次的网络。

但是事实证明，网络深度是层次表示法中至关重要的元素，它推动了当今许多应用程序的成功。

不完全是，人工神经网络始于50年代。查看ML摇滚明星Yann LeCun的幻灯片之一，了解真实而全面的介绍。 http://www.cs.nyu.edu/~yann/talks/lecun-ranzato-icml2013.pdf