为什么只有在Nvidia的芯片可用后ML才可行？

我听了由两位有影响力的中国科学家组成的小组讨论：王刚和于凯等。

当被问及在不久的将来（3-5年）人工智能发展的最大瓶颈时，具有硬件行业背景的于凯表示，硬件将是必不可少的问题，我们应该付出大部分我们对此的关注。他给了我们两个例子：

1. 在计算机的早期开发中，我们通过芯片比较机器。
2. 如果没有英伟达GPU的支持，那么近年来非常流行的人工智能几乎是不可能的。

基本算法早在1980年代和1990年代就已存在，但是人工智能经历了3个AI冬季，并且直到我们可以使用GPU增强的大型服务器训练模型时才是经验性的。

然后，王博士评论了他的意见，我们也应该开发软件系统，因为即使将世界上所有的GPU和计算结合在一起，我们也无法制造自动汽车。

然后，像往常一样，我的头脑飘散了，我开始思考，如果那些能在1980年代和1990年代操作超级计算机的人利用当时存在的神经网络算法并用大量科学数据训练它们呢？当时有些人显然可以尝试构建我们正在构建的AI系统。但是，为什么人工智能直到几十年后才成为热门话题并成为经验？仅仅是硬件，软件和数据的问题吗？

人工智能产业的蓬勃发展有很多因素。尽管许多人错过了，但是繁荣主要是在AI的机器学习部分。这可以归因于各种简单原因以及它们在早期的比较：

• 数学：ML算法背后的数学非常简单，并且已为人所知（很长一段时间都不清楚）。在更早的时期，不可能在可接受的时间内实施要求数字精度很高的算法，以在芯片上进行计算。在现代处理器中，数字的主要算术运算之一仍然需要很多周期。较旧的处理器要比现代处理器（高出100倍）慢很多倍，这个瓶颈使得无法在当代处理器上训练复杂的模型。
• $1$$0$
• 并行化：矩阵运算并行化的概念并不是什么新鲜事物。只有当我们开始将深度学习视为一组矩阵运算时，我们才意识到可以轻松地在大规模并行GPU上并行化深度学习，但是即使您的ML算法本身不是并行的，使用CPU还是GPU都无关紧要（例如RNN）。
• 数据：可能是ML繁荣的最大原因。互联网提供了从用户那里收集大量数据的机会，也使感兴趣的团体可以使用它。由于ML算法只是基于数据的函数逼近器，因此数据是ML算法中最重要的事情。数据越多，模型的性能越好。
• 成本：训练ML模型的成本已大大降低。因此，使用超级计算机训练模型可能很好，但是值得吗？与普通PC不同的是，超级计算机在散热，空间等方面都非常耗费资源。最近的一篇文章MIT Technology Review上的文章指出了训练深度学习模型（ML的子分支）的碳足迹。这是一个很好的指示，为什么在早期不能在超级计算机上进行训练是不可行的（考虑到现代处理器消耗的功率要少得多，而速度却要高得多）。虽然，我不确定，但是我认为早期的超级计算机专门用于“并行+高精度计算”（天气，天文学，军事应用等需要），而“非常高精度的部分”在机器学习场景中显得过分杀伤力。

另一个重要方面是当今每个人都可以使用功能强大的计算机。因此，任何人都可以构建新的ML模型，重新训练现有模型，修改模型等。在早期，这是完全不可能的，

所有这些因素导致对ML的兴趣激增，并引起了我们今天看到的繁荣。还检查了这个问题，我们如何超越数字处理器。

GPU是AI繁荣的理想之选

• 他们打对了时间

人工智能已经研究了很长时间。近半个世纪。但是，所有这些都是对算法如何工作和外观的探索。当NV看到AI即将成为主流时，他们看着自己的GPU，意识到巨大的并行处理能力以及相对容易的编程，对于那个时代是理想的。许多其他人也意识到了这一点。

• GPU是通用加速器

GPGPU是将GPU并行处理用于一般任务的概念。您可以加速图形，或者使您的算法充分利用GPU上的数千个内核。这使GPU成为包括AI在内的各种用例的绝佳目标。鉴于它们已经可用并且不太难编程，因此它是加速AI算法的理想选择。