神经网络和深度信念网络有什么区别？

我给人的印象是，当人们指的是“深层信仰”网络时，它基本上是一个神经网络，但规模很大。这是正确的吗，还是深度信仰网络是否还暗示算法本身是不同的（即，没有前馈神经网络，但可能带有反馈回路）？

“神经网络”是通常用于指代前馈神经网络的术语。深度神经网络是具有许多层的前馈神经网络。

深度信念网络与深度神经网络不同。

正如您所指出的，深层信念网络在某些层之间具有无方向的连接。这意味着DNN和DBN的拓扑在定义上是不同的。

DBN中的无向层称为受限玻尔兹曼机。可以使用非常快的无监督学习算法（Contrastive Divergence）来训练该层（这里是链接！

其他一些评论：

用更深的神经网络获得的解对应的性能要比具有1或2个隐藏层的网络获得的解差。随着体系结构的深入，使用Deep NN获得良好的概括变得越来越困难。

在2006年，Hinton发现，通过使用无监督学习算法（Contrastive Divergence）对每一层（RBM）进行预训练，可以在更深的体系结构中获得更好的结果。然后，可以使用反向传播以监督的方式训练网络，以“调整”权重。

“ 深度神经网络是一种前馈人工神经网络，在其输入和输出之间具有一层以上的隐藏单元。每个隐藏单元通常使用逻辑函数映射其来自下一层的总输入，即，转换为标量状态，并将其发送到上一层。$j$$x_j$$y_j$（参考（1））”。

也就是说，正如David所提到的：“ 深层信任网络在最上两层之间具有无方向的连接，就像在RBM中一样 ”，这与标准前馈神经网络相反。通常，DNN中的主要问题是与单层NN相比，它的训练肯定涉及更多。（我不从事神经网络研究，只是最近我读了这篇论文。）

参考资料：1. 用于语音识别中的声学建模的深度神经网络，作者：Geoffrey Hinton，李登，Dong Yu，George Dahl，Abdel-rahman Mohamed，Navdeep Jaitly，Andrew Senior，Vincent Vanhoucke，Patrick Nguyen，Tara Sainath和Brian金斯伯里（Kingsbury）在IEEE信号处理杂志上发表[82] 2012年11月（链接到MSR中的原始论文）

很高兴在这里看到Alex的评论。我一直在向人们解释DL是典型的神经网络。学习方案没有区别。较早的用c（70s）编写的ANN可以选择设置多个隐藏层。实际上，我测试以确定是否有更多的隐藏层可以提高准确性。层数不会使DL与ANN有所不同。

我讨厌这些营销术语。现在我们有这么多的DL专家，他们不知道DL实际上是ANN。由于市场营销是如此的强大，人们相信我们在机器学习领域取得了很大进步。但是，没有什么新鲜的！