关于神经网络/ ML算法“理论”的教科书？

到目前为止，我看过的每本教科书都描述了ML算法以及如何实现它们。

是否还有一本教科书为这些算法的行为建立了定理和证明？例如说在条件下，梯度下降总是导致A ，B ，C？$x,y,z$$A,B,C$

机器学习的基础，由梅里尔·莫里，阿夫欣Rostamizadeh和Ameet Talwalkar，是2012年的书在机器学习理论。

Shai Shalev-Shwartz和Shai Ben-David撰写的《理解机器学习：从理论到算法》是与2014年类似的一本书，该书相当知名，而且比Mohri / Rostamizadeh / Talwalkar的介绍性更强，但在其中仍然有很多理论它。它是免费在线提供的。

《神经网络学习：理论基础》（Martin Anthony和Peter Bartlett）是一本关于ML理论的1999年著作，其措辞是关于神经网络，但（据我所知，没有读过）总体上讲是关于ML理论的。

这三本书大多以统计学学习理论为主导。还有一种有趣的观点称为计算学习理论，它更多地受到计算机科学理论的启发。我认为这方面的标准入门书是《计算学习理论入门》，这是Michael Kearns和Umesh Vazirani于1994年撰写的一本书。

另一本优秀且经常被推荐的免费书籍是Trevor Hastie，Robert Tibshirani和Jerome Friedman在2009年出版的第二版《统计学习的要素》。从理论上讲，它可能比其他人少一些，从统计学家的角度来看，比机器学习者的更多，但仍然有很多兴趣。

另外，如果您特别关注梯度下降，则标准参考是Stephen Boyd和Lieven Vandenberghe的“ 凸优化”。这本2004年的书籍可在线免费获得。

如果您所关心的话，这些书都没有包含有关现代深度网络理论的太多内容。（例如，大多数优化理论将是关于凸案例的，而深层网络肯定不是。）因为这是一种非常新的理论；大多数结果仅在最近几年才出现，并且仍然非常有待解决。但是，作为到目前为止对该领域基本理解的概述，他们中的任何一个都可以帮助您很好地理解完成该工作的论文（也许Kearns / Vazirani除外，我专注于分析的不同方面， m不确定是否已成功应用于深层网络）。

机器学习：概率视角，作者：Kevin P. Murphy从贝叶斯角度解释了很多理论（我仅将其用于逻辑回归，但我认为它相当不错）。通过在Google上搜索，整本书可以PDF的形式在线获得。

• 深度学习（自适应计算和机器学习系列）。这是由Ia Goodfellow，Yoshua Bengio，Aaron Courville撰写的。根据作者与MIT出版社的协议，您可以阅读本网站浏览器上的合法免费副本。www.deeplearningbook.org这对神经网络及其不同子分支的纯数学和理论非常有用。

除此之外，

• 统计学习的要素：数据挖掘，推理和预测也是一本很好的书，可为传统机器学习建立理论和数学基础。这是由Trevor Hastie，Robert Tibshirani和Jerome Friedman编写的，作者可以从https://web.stanford.edu/~hastie/ElemStatLearn/免费获得。

神经网络设计（Martin T. Hagan，Howard B. Demuth，Mark Hudson Beale，Orlando DeJesús）在神经网络的上下文中对优化进行了很好的讨论。