神经网络的数学背景


11

不知道这是否适合本网站,但是我正在开始我的计算机科学硕士学位(应用数学学士学位),并希望拥有强大的机器学习背景(我很可能会攻读博士学位)。我的次级兴趣之一是神经网络。

人工神经网络的良好数学背景是什么?像在机器学习的其他领域一样,我认为线性代数很重要,但是数学的其他哪些领域也很重要?

我计划阅读《神经网络:系统介绍用于模式识别的神经网络》。是否有人提出任何建议或替代建议?

Answers:


10

在我看来,您提供的第二份参考书仍然是有关NN的最佳书,即使它可能有点过时并且不涉及诸如深度架构之类的最新发展。您将掌握正确的基础知识,并熟悉有关机器学习的所有基本概念。

如果您读这本书,将需要线性代数,多元演算和统计学的基本概念(条件概率,贝叶斯定理和熟悉二项式分布)。在某些方面,它涉及变化的演算。不过,有关变化演算的附录应该足够了。


这就是我经过一堆建议后最终想到的,我当时很犹豫,因为Bishop的机器学习书虽然受到一些人的追捧,但如果您还不了解的话,那将是一本很难学习的书。
史蒂夫·

5

数学部分可能至少包括高级代数,三角函数,线性代数和微积分。

但也要跳出框框。还需要具备良好的编程技能,包括扎实的算法基础(Coursera拥有两门算法课程)以及熟练使用MatLab,Octave或R(以及Java,C / C ++或Python等灵活的编程语言)。我提到这些是为了回答您的问题,因为我认为它们是更多的“应用数学”技能,并且是在理论和应用实现之间进行转换的基础。

我参加了许多与机器学习相关的Coursera课程(并且与另一位海报作者一致认为Ng教授的机器学习很棒)和NN。几个月前,Coursera通过多伦多大学和Geoffrey Hinton主持了一个神经网络课程(不确定是否仍然可用)。一个很好的课程和要求:微积分的知识,Octave(类似于MatLab的开源克隆)的熟练程度,良好的算法设计(可伸缩性)和线性代数。

您可能还(虽然不是数学本身)(考虑自然语言处理(用于特征提取等),信息检索,统计/概率论以及机器学习的其他领域(以获得更多理论))。诸如机器学习基础(Mohri)或机器学习入门(Alpaydin)之类的最新文章可能对您弥合理论到实现的复杂性很有帮助(我认为这可能是一个艰难的飞跃)-两者都课文的数学运算量很大,尤其是基础知识。

同样,我认为所有内容都与数学和NN有关,但从广义上讲。


谢谢。我主修应用数学的本科课程(并且拥有丰富的编程经验),所以我拥有了所有这些,除了我自己教自己的严格的抽象代数课程外……我最终选择了Neural Networks for Pattern由主教表彰。对于其他感兴趣的人,我强烈推荐它
Steve P.


2

布莱恩·里普利(Brian Ripley)是一本非常不错的书(不是真正的入门书籍,但并不假定它具有先验知识):“模式识别和神经网络”,我想说它包含了许多预备知识。拥有应用数学学士学位的学生应该做好准备。


2

主要主题是统计

多变量演算

数值线性代数(稀疏矩阵等)数值优化(梯度下降等,二次编程)

您可能想了解高斯过程以及那里需要的数学,尝试做一些图像处理/自然语言处理类


我实际上是在秋季参加NLP课程。
史蒂夫·P.13年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.