深度学习在哪里以及为什么会发光?


20

如今,随着所有媒体对深度学习的讨论和炒作,我读到了一些基本的东西。我刚刚发现,这只是从数据中学习模式的另一种机器学习方法。但是我的问题是:这种方法在哪里发光,为什么发光?为什么现在都在谈论它?即是什么大惊小怪的?


4
查看Geoff Hinton和Andrew Ng的定性youtube讲座,以轻松了解为什么这么好。
杰瑟

Answers:


22

主要的好处是:

(1)对于非线性学习问题,不需要手工设计功能(节省时间并可以扩展到将来,因为手工设计被某些人视为短期创可贴)

(2)学会的功能有时比最好的手工设计的功能要好,并且可能过于复杂(计算机视觉-例如类似面部的功能),以至于花费太多的时间进行设计。

(3)可以使用未标记的数据对网络进行预训练。假设我们有1000000张未标记图像和1000张已标记图像。现在,我们可以通过深度学习对1000000张未标记的图像进行预训练,从而极大地改进监督学习算法。另外,在某些域中,我们有很多未标记的数据,但是很难找到标记的数据。可以使用未标记的数据来改善分类的算法非常有价值。

(4)根据经验,打破了许多基准,直到引入深度学习方法,这些基准才逐渐得到改善。

(5)相同的算法在具有原始输入(可能需要少量预处理)的多个区域中工作。

(6)随着更多数据被馈送到网络(假设平稳分布等),该值不断提高。


1

除了上述内容(我没有足够的代表仅将其添加为注释)之外,另一个重要点是它是一个生成模型(至少是Deep Belief Nets),因此您可以从学习的分布中采样-这可以在某些您想要生成与学习到的类/类相对应的综合数据的应用程序中,它具有一些主要优点。


1
这不是深度学习的一般属性,而是所讨论的具体模型的属性。例如,您可以从高斯抽样,但不能从逻辑回归抽样。您还可以从各种深度学习模型中进行采样,例如您所说的深度信念网,深度玻尔兹曼机器,深度潜在高斯模型等。应用程序。
bayerj 2014年

...为什么不能从逻辑回归中采样?
Hong Ooi 2014年

给定一个LR模型 pC|X,您可以对以输入为条件的类进行采样。但是您不能对输入进行采样。因此,它更具有区分性/生成性。
2014年

1
但是对于高斯回归模型也是如此,前提是您要说的是基本线性回归。
Hong Ooi 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.