我正在寻找针对统计学家的数值优化技术的可靠参考，也就是将这些方法应用于某些标准推论性问题（例如，通用模型中的MAP / MLE）。诸如梯度下降（直线和随机），EM及其衍生/概括，模拟退火等。
我希望它会有一些有关实现的实用说明（因此常常缺少论文）。它不必完全明确，但至少应提供可靠的书目。
一些粗略的搜索出现了几篇文章：Ken Lange的《统计学家的数值分析》和John Monahan的《统计学的数值方法》。每个人的评论似乎是混杂的（稀疏的）。在这两个书中，对目录的细读表明兰格的书的第二版与我所追求的最接近。
Answers:
James Gentle的计算统计（2009）。
詹姆斯·根特尔（James Gentle）的《矩阵代数：统计学中的理论，计算和应用》（2007），在本书结尾处，更是如此，开始也很不错，但这并不是您所要寻找的。
Christopher M. Bishop的模式识别（2006）。
Hastie等人的“统计学习的要素：数据挖掘，推理和预测（2009年）。
您是否正在寻找像文本这样的低级内容来回答诸如以下问题：“为什么将矩阵和高维数组存储为一维数组更有效，以及如何在通常的M中索引它们？ （0、1、3，...）方式？” 或类似“用于优化标准算法（例如梯度下降，EM等）的常用技术有哪些？”？
大多数有关机器学习的文章都会提供您正在寻找的主题的深入讨论。
诺德和赖特书
http://users.eecs.northwestern.edu/~nocedal/book/
一般而言，它是进行优化的一个很好的参考，并且书中的许多内容对于统计学家来说都很有趣。还有一整章关于非线性最小二乘法。
优化，作者：肯尼斯·兰格（Springer，2004年），Russell Steele在JASA中进行了评论。这是一本很好的教科书，包含了Gentle的矩阵代数，可以作为Matrix微积分和优化的入门课程，例如Jan de Leeuw的一本课程（courses / 202B）。
作为这些的补充，您可以找到Magnus，JR和H. Neudecker（2007）。《矩阵微积分及其在统计和计量经济学中的应用》，第3版，尽管很繁重。它使用矩阵对无穷小运算进行了全面处理，然后将其应用于许多典型的统计任务，例如优化，MLE和非线性最小二乘法。如果最终要弄清楚矩阵算法的向后稳定性，那么掌握矩阵演算将是必不可少的。我个人使用矩阵演算的工具在空间统计和多元参数模型中得出渐近结果。