深度学习方法的问题和替代方法？

在过去的50年中，神经网络的流行程度的上升/下降/上升已经成为AI研究的“晴雨表”。

从该网站上的问题中可以很明显地看出，人们对将深度学习（DL）应用于各种困难问题很感兴趣。

因此，我有两个问题：

1. 从业者-您发现将DL“开箱即用”应用于问题的主要障碍是什么？
2. 研究人员-您使用（或已开发）哪些技术可能有助于解决实际问题？它们在DL中还是在提供替代方法？

总而言之，应用深度学习中存在两个主要问题。

• 首先是计算上的，它是详尽的。普通的CPU甚至需要大量时间来执行深度学习的基本计算/培训。因此，建议使用GPU，即使在很多情况下它们可能还不够。典型的深度学习模型不支持使用多项式的理论时间。但是，如果我们将ML中相对简单的模型用于相同的任务，则常常会得到数学上的保证，即这种更简单的算法所需的训练时间在多项式中。对我而言，至少这可能是最大的不同。

  但是，有解决此问题的解决方案。一种主要方法是仅将DL算法优化为多次迭代（而不是在实践中查看全局解决方案，而只是将算法优化为一个好的局部解决方案，而“良好”的标准由用户定义）。

• 对于年轻的深度学习爱好者来说，另一个可能会引起争议的问题是，深度学习算法缺乏理论上的理解和推理。深度神经网络已成功用于许多场合，包括手写识别，图像处理，自动驾驶汽车，信号处理，自然语言处理和生物医学分析。在某些情况下，它们甚至超过了人类。但是，话虽如此，它们在任何情况下都没有，在理论上没有大多数统计方法那样合理。

  我不会详细介绍，而是由您自己决定。每种算法/方法都各有利弊，DL也不例外。正如许多情况所证明的那样，它非常有用，每个年轻的数据科学家都必须至少学习DL的基础知识。但是，在问题相对简单的情况下，最好使用著名的统计方法，因为它们有很多理论结果/保证可以支持这些方法。此外，从学习的角度来看，最好从简单的方法开始并首先掌握它们。

我对ML / DL的经验很少，不能称自己为从业者，但这是我对第一个问题的回答：

DL很好地解决了分类任务。并不是每个实际问题都可以用分类来表述。分类域需要预先知道。尽管分类可以应用于任何类型的数据，但有必要使用将要应用的特定领域的样本来训练NN。如果在某个时间点切换了域，同时保持相同的模型（NN结构），则必须使用新的样本对其进行重新训练。此外，即使是最好的分类器也有“空白”- 可以从训练样本中轻松构建对抗性示例，以使人类无法察觉变化，但是训练模型会错误地对变化进行分类。

问题2.我正在研究超维计算是否可以替代深度学习。Hyper-D使用非常长的位向量（10,000位）来编码信息。向量是随机的，因此它们近似正交。通过对这些向量的集合进行分组和平均，可以形成一个“集合”，然后查询以查看未知向量是否属于该集合。该集合可以被视为概念或概括图像等。训练和识别一样非常快。需要做的是模拟深度学习成功的领域，并将Hyper-D与之进行比较。

从数学的角度来看，多层深层网络中的主要问题之一是消失或不稳定的梯度。每个其他隐藏层的学习速度明显降低，几乎抵消了该额外层的好处。

现代深度学习方法可以改善这种行为，但是在简单的老式神经网络中，这是一个众所周知的问题。您可以在此处找到一份书面分析，以进行更深入的研究。