我一直在想,为什么进行原理/理论机器学习如此重要?从个人的角度来看,我可以理解为什么有原则的机器学习如此重要:
- 人类喜欢了解自己在做什么,我们就会找到美丽和满足感。
- 从理论上讲,数学很有趣
- 当存在指导事物设计的原则时,花在随机猜测,怪异的试验和错误上的时间会更少。例如,如果我们了解神经网络是如何工作的,也许我们可以花更多的时间设计它们,而不是现在投入大量的试验和错误。
- 最近,如果原则很明确,理论也很明确,那么(希望)对系统更加透明。这很好,因为如果我们了解系统在运行什么,那么AI就有很多人大肆宣传的风险会立即消失。
- 原则似乎是总结世界可能具有的重要结构以及何时使用一种工具而非另一种工具的一种简洁方法。
但是,这些理由是否真的足以证明对机器学习进行深入的理论研究是正确的?对理论的最大批评之一是,由于很难做到,他们通常最终会研究一些非常有限的案例,或者必须提出的假设实质上使结果无用。我想我曾经在Tor的创造者在麻省理工学院的一次演讲中听到过这一点。他听到的对托尔的一些批评只是理论上的争论,但从本质上讲,人们却无法证明有关现实生活中真实场景的事物,因为它们是如此复杂。
在这个拥有如此强大的计算能力和数据的新时代,我们可以使用真实的数据集和测试集来测试我们的模型。我们可以通过经验主义来观察事物是否起作用。如果我们能够获得能够与工程学和经验主义相结合的AGI或系统,那么仍然值得为机器学习追求原理和理论上的证明,尤其是当量化界限如此难以实现时,而直觉和定性答案则更容易实现用数据驱动的方法来实现?这种方法在古典统计学中不可用,这就是为什么我认为理论在那个时代如此重要的原因,因为数学是我们可以确保事物正确的唯一方法,或者它们可以按照我们认为的方式实际起作用。
我个人一直很喜欢并且认为理论和原则性方法很重要。但是,凭借能够尝试使用实际数据进行处理的能力和计算能力,使我感到怀疑的是,理论追求的高努力(可能是低回报)仍然值得吗?
机器学习的理论和原则追求真的那么重要吗?