人工智能研究人员的数学前提是什么?


12

了解人工智能算法的核心部分并开发自己的算法的数学先决条件是什么?

请给我具体的书。

Answers:


9

优良数学基础

首先要确保具有中等代数以及微积分和离散数学的其他一些基础的全部能力,包括这些主题中的术语和基本概念。

  • 无限系列
  • 逻辑证明
  • 线性代数和矩阵
  • 分析几何,尤其是局部和全局极端(最小值和最大值),鞍点和拐点之间的区别
  • 集合论
  • 可能性
  • 统计

控制论的基础

诺伯特·维纳(Norbert Wiener),《控制论》,1948年,麻省理工学院出版社,其中包含时间序列和反馈概念,其清晰性和命令性在后续工作中并未见到。它还从Shannon的log 2公式开始,介绍了信息理论,用于一点点定义信息量。这对于理解信息熵概念的扩展很重要。

结石

查找一本好的微积分书,并确保您对这些类别中的关键理论和应用有清晰的了解。

  • 时间序列
  • 无限系列
  • 收敛-人工网络理想地在学习过程中收敛到最佳状态。
  • 偏微分
  • 雅可比矩阵和黑森矩阵
  • 多元数学
  • 边界区域
  • 离散数学

其中大部分来自微积分,斯特朗,麻省理工学院,韦尔斯利-剑桥出版社。尽管PDF可以从Web上获得,但是它是基本的,而且不是特别深。我们实验室的资料库中的一个是中级微积分,Hurley,Holt Rinehart和Winston,1980。它比我在普林斯顿大学二年级学生使用的家庭图书馆中的图书馆更全面,并且在某些方面布置得更好。

确保你是在超越ℝ空间舒适的工作2(超越2D)。例如,在RNNs空间例如ℝ经常是4 thorughℝ 7,因为水平,垂直,像素深度,和电影帧的尺寸。

有限数学

不幸的是,我能想到的任何三本书都不具有所有这些。

  • 有向图-在树或电路(人工网)之前了解此内容,因为它是所有这些配置的超集拓扑
  • 抽象符号树(AST)
  • 高级集合论
  • 决策树
  • 马尔可夫链
  • 混沌理论(尤其是随机和伪随机之间的差异)
  • 博弈论始于冯·诺伊曼和摩根斯坦的博弈论,这是该领域的开创性工作
  • 离散系统中的收敛,尤其是理论在整数,定点或浮点算法中对信号饱和的应用
  • 统计平均值,偏差,相关性以及熵,相对熵和交叉熵的更先进的概念
  • 曲线拟合
  • 卷积
  • 概率,尤其是贝叶斯定理
  • 算法理论(哥德尔的不确定性定理和图灵完备性)

化学与神经病学

回忆一下高中化学的化学平衡是一件好事。平衡在更复杂的AI设计中起着关键作用。了解GAN中生成模型与判别模型之间的共生关系将有助于学生进一步理解。

生物系统中的控制功能仍然是人工智能研究中概念证明的主要来源。随着研究人员在想象不直接模仿生物学某些方面的适应形式方面更具创造力(与撰写本文时仍相距甚远),创造力可能会在AI研究目标制定中发挥更大作用。

即使如此,人工智能仍将是一个主要的跨学科领域。


2
一些评论:1)我同意约翰在回答中写的内容,他的回答是关于一个更笼统的“核心”,而您的回答可能有用或可能不取决于某人进入的AI领域。2)您在“高中数学”下描述的许多东西(不一定)不是高中数学,至少在欧洲不是(对美国一无所知)。在荷兰,我上大学一年级之前并没有真正的线性代数,矩阵,无穷级数或集合论。如果我在高中选择了其他课程,其中一些可能会更早出现。
丹尼斯·苏默斯

2
3)功能分析/度量理论可能会有益于某些领域。但是,这再次很大程度上取决于您要成为一名AI研究人员的深度。某些从理论上更深入的AI研究人员将发现几乎所有这些东西都是有用的。其他AI研究人员在经验/软件/编程方面的需求更多,更少。两者仍然可以输出非常有价值的研究。
丹尼斯·苏默斯

7

我是一名教授,最近与其他机构的许多同事协商,设计了新的AI专业的数学要求。

其他答案,尤其是@ FauChrisian我们做编目所有可能有用的特定主题的好地方的AI,但不是所有的人都理解为核心议题同样有用。在其他情况下,理解主题与理解相关的AI算法本质上是相同的,因此我们通常只是一起教它们,而不是假设前提知识。例如,对于已经知道图论和概率基础的人来说,马尔可夫决策过程并不难教,因此我们通常只在AI课程中教授强化学习时覆盖它们,而不是将其作为数学中的单独主题课程。

我们确定的数学要求如下:

  • 离散数学的一两个学期课程。与证明该地区的任何特定主题一样,通过证明和数学上的严格性来建立舒适感同样重要。它主要只是“基础”知识,但事实证明它非常有用。满足无穷求和,图形基础,组合和渐近分析可能是最直接适用的部分。我喜欢Susanna Epp的书

    • 线性代数的一两个学期课程,对AI的各种主题特别有用,尤其是机器学习和数据挖掘。Lay&Lay是一本不错的书,但可能不是绝对最好的书。Shilov是Ian Goodfellow和其他人的推荐,但我自己还没有尝试过。

    • 概率课程,以及统计学的现代课程(即以贝叶斯为重点)。不过,一门比较老的统计学课程,或者一门针对社会科学家的课程,并不是很有用。我的统计学家同事现在正在使用Lock5,并拥有良好的使用经验。

    • 至少微分和积分微积分,优选矢量微积分的至少部分导数,但可能是整个过程。这在优化,机器学习和基于经济学的AI方法中很有用。斯图尔特是最常见的教科书。它很全面,可以用于所有三门课程,但是它的解释并不总是最好的。我仍然推荐它。

这些是核心主题。如果你不有节目有传统背景,然后在图论的课程和渐进复杂或算法设计与分析的基础可能是很好的补充。通常,AI'ers来自标准的计算机科学背景,涵盖了所有这些方面。


1
@FauChristian我认为我们已经列出了相同的主题:当然,微积分和有限数学。我们俩都认为你们每个人都应该上几节课。我列出了统计数据和概率。我认为,如果您想在AI中进行现代工作,那么就没有那么远了。您列出了化学与神经科学。我认为很少有AI人士会认为这些是必不可少的主题。当然,没有它,您就可以浏览所有的Russell&Norvig。如果您想从事计算神经科学(而不是深度学习)的工作,那可能会有所帮助。我也怀疑您需要16年的时间才能做出贡献。当然是5-6。
John Doucette

1
@FauChristian没错。我倾向于认为,如果您想在大多数现代AI实验室中进行研究,那么您仍然需要概率(至少一半的现代AI工作是在某种机器学习中进行的,而很大一部分是在深度学习中进行的) 。研究生通常从事研究工作。他们中的大多数人在毕业后仅1-2年就从事研究工作。其中一些甚至还不错。这些人最多只接受4-6年的正规教育。不仅可以使您更快或更深入,但研究潜力始于此。
John Doucette

3

至于诸如梯度下降的简单算法,您需要对偏导数有一个很好的了解。特别是如果您想实现神经网络。此外,大多数算法都经过矢量化处理以提高计算速度,因此您需要熟悉矩阵数学。这涉及对矩阵的尺寸,乘积的尺寸,矩阵的乘法,转置等的快速且舒适的处理。极少数情况下,您可能会使用矩阵演算直接得出最佳解,因此应该从该领域取得一些结果。接下来,您需要了解一些功能分析。这需要直观了解Sigmoid和tanh,log之类的激活功能。掌握概率和期望也非常有用。您还应该清楚正交向量和内积。

话虽如此,我建议您掌握基本的演算和矩阵运算,并尝试学习AI概念。如果您无法解决问题,请探索数学。

注意:同样,这仅用于启动。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.