统计用于机器学习,论文开始吗?


10

我具有计算机编程和基本数论方面的背景,但没有进行过实际的统计学培训,并且最近“发现”了一系列技术的惊人领域实际上是一个统计领域。看来矩阵分解,矩阵完成,高维张量,嵌入,密度估计,贝叶斯推断,马尔可夫分区,特征向量计算,PageRank都是高度统计技术,并且使用此类事物的机器学习算法会使用大量统计数据。

我的目标是能够阅读讨论此类问题的论文,并实现或创建算法,同时了解所使用的符号,“证明”和统计参数。我猜最难的是遵循涉及矩阵的所有证明。

哪些基本论文可以帮助我入门?还是一本值得练习的好教科书?

具体来说,我想完全理解的一些文章是:

  1. 通过凸优化实现精确的矩阵完成,Candes,Reckt,2008年
  2. 快速柯西变换和快速鲁棒线性回归,克拉克森等,2013年
  3. 支持向量机的随机投影,Paul等,2013
  4. 使用深度密度模型进行高维概率估计,Rippel,Adams,2013年
  5. 获取低秩矩阵完成的最小化误差估计和通用明智误差界,Király,Theran,2013年

1
您是否已经熟悉矩阵,例如通过应用线性代数课程,或者这是您要学习的部分?我想说的是,您给出的清单的前半部分是在统计中很重要的主题,而不是高度统计的技术(这使我朝相反的方向发展)。在推荐书籍中,这里有一些用于学习统计机器学习的问题。我建议您提供一个或两个您想了解的特定论文的示例;这将有助于更好地集中您收到的答案。
主教

2
是的,通过线性代数熟悉矩阵,并且对向量空间,基,范数的概念很熟悉,但是尽管我对Gram-Schmidt正交化和未优化的QR算法相当清楚,但我并不完全了解LU分解。尚不清楚他们为什么工作。同样,我不理解人们如何在不对特征矩阵执行特征向量算法的情况下得出随机矩阵的特征向量。
Cris Stringfellow

Answers:


2

我会推荐Coursera上的Andrew Ngs机器学习课程,它涵盖了所有基础知识。如果您正在研究与概率图形模型有关的内容,那么Daphne Kollers的课程当然也是不错的选择。

这也是自学资源的宝库http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Herb Grossman的演讲真棒。

我也一直被推荐这本书https://www.openintro.org/stat/textbook.php,因为我一直都在学习自我,而统计数据并不是我的背景!

我的两分钱是关于事物和论文的数学方面,但是不要太着迷于背景数学。学习基础知识并参考您提到的那些文章所依据的论文,看看它们是否更容易(也许您需要回去几篇论文以获得您可以理解的东西-这是我自己做的),其中有很多ML中不同的数学元素,很容易被吸引进兔子洞(再次,我已经不止一次地做了自己的事!)。

祝您好运,这是一个非常有趣的领域!

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.