关于矩阵分解的基本论文

最近，我读了斯基利康（Skillicorn）的关于矩阵分解的书，因为它针对的是本科生，所以有点失望。我想（对我自己和其他人）汇编关于矩阵分解的基本论文的简短参考书目（调查，也包括突破性论文）。我主要想到的是SVD / PCA（以及健壮/稀疏的变体）和NNMF上的某些东西，因为到目前为止它们是最常用的。你们都有什么建议/建议吗？我让我不要偏bias答案。我想将每个答案限制为2-3篇论文。

PS：我将这两个分解称为数据分析中最常用的。当然，QR，Cholesky，LU和Polar在数值分析中非常重要。这不是我的问题的重点。

您如何知道SVD和NMF是迄今为止最常用的矩阵分解，而不是LU，Cholesky和QR？我个人最喜欢的“突破”应该是有保证排名的QR算法，

• Chan，TonyF。“揭示QR分解的等级”。线性代数及其应用第88-89卷，1987年4月，第67-82页。DOI：10.1016 / 0024-3795（87）90103-0

...以列为中心的QR早期概念的发展：

• 彼得·布辛格；Golub，Gene H.（1965）。通过Householder变换的线性最小二乘解。Numerische Mathematik第7卷，第3期，269-276，DOI：10.1007 / BF01436084

一本经典的教科书是：

• Golub，GeneH。Van Loan，Charles F.（1996）。矩阵计算（第三版），约翰·霍普金斯（Johns Hopkins），ISBN 978-0-8018-5414-9。

（我知道你没有要求教科书，但我无法抗拒）

编辑： 更多地谷歌搜索找到了一篇论文，其摘要表明我们可能会稍微有点交叉海豚。我上面的文字来自“数字线性代数”（NLA）的观点；也许您更关注“应用统计学/心理计量学”（AS / P）的观点？您能否澄清一下？

• 劳伦斯·休伯特（Lawrence Hubert），杰奎琳·穆尔曼（Jacqueline Meulman）和威廉·海瑟（Willem Heiser）。矩阵分解的两个目的：历史评估。 SIAM评论卷 42，No.1（2000年3月），第68-82页

对于NNMF，Lee和Seung描述了一种非常易于实现的迭代算法。实际上，他们给出了两种类似的算法，一种用于最小化残差的Frobenius范数，另一种用于最小化近似矩阵和原始矩阵的Kullback-Leibler发散。

• Daniel Lee，H。Sebastian Seung，非负矩阵分解算法，神经信息处理系统的进展13：2000年会议论文集。麻省理工学院出版社。第556–562页。

也许你会发现有趣的

1. [通过矩阵分解进行学习] Nathan Srebro的博士学位论文，
2. [大型推荐系统的各种矩阵分解方法的研究]，GáborTakács等。和这里描述的几乎相同的技术

最后两个链接显示了在协作过滤中如何使用稀疏矩阵分解。但是，我相信类似SGD的分解算法可以在其他地方使用（至少它们非常容易编码）

Witten，Tibshirani-惩罚矩阵分解

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson，Rokhlin，Szlam，Tygert-随机SVD

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

在今年的NIPS上，有一篇关于分布式，超大型SVD的简短论文，该论文可在流输入矩阵上一次通过。

该白皮书更注重实现，但是将所有实际情况与实际情况联系在一起。开头附近的表格也是一个很好的调查。