统计学习理论最新进展的资源/书


10

我对VC-Dimension背后的理论非常熟悉,但是现在我正在研究统计学习理论的最新进展(过去10年):(本地)Rademacher平均值,Massart的有限类引理,覆盖数,链接,Dudley的定理,伪尺寸,脂肪碎裂尺寸,装箱数,拉德马赫组成,以及其他可能未知的结果/工具。

是否有网站,调查,文章集,或者最重要的是,涵盖这些主题的书?

另外,我正在研究如何为简单类绑定Rademacher平均的示例,就像人们使用轴对齐的矩形来显示如何绑定VC维度一样。

提前致谢。

Answers:


7

我相信您会喜欢分类理论:最新进展的概述由Boucheron,Bousquet和Lugosi撰写。特别是,它首先通过Rademacher复杂性建立基本的泛化理论,引入了一些有用的工具(例如收缩原理,您可以在Ashwinkumar的答案中引用的Shai&Shai注释中找到其证据,但(我相信吗?)起源于由Ledoux&Talagrand编写的概率书,这不是免费的),并将其应用于标准分类方法(讨论了升压和支持向量机,这是由于其受欢迎程度以及通过ERM进行了培训)。该文本的日期为2005年,因此还包含您提到的其他一些近期主题,例如Local Rademacher Complexities,甚至还有一个很小的链接栓。最后,虽然手稿很短,

您提到的其他一些主题已经很老了,可以在Devroye,Györfi和Lugosi撰写的“模式识别的概率论”中找到(特别是,它在包装上比我所知道的其他任何文章都多)。尽管它缺少您提到的一些较新的主题,但这是我在学习理论上遇到的每个人都上书架的标准书。也许尝试找到该书的目录和索引表,并仔细阅读它。

您提到的其他一些主题我在书中并未看到完整处理,但已出现在许多课程笔记中。例如,如果您转到UPenn的Sham Kakade的页面,您将找到两个学习理论课程的链接(一个是在TTI-C,与Ambuj Tewari在一起),并且您会看到主题链接与您讨论的某些内容匹配,并且没有出现在我的答案或其他地方。各种学校都有很多不错的课程;Avrim Blum在他的学习理论课程中有出色的注释,非常可读(他对Winnow的分析是我见过的最短,最简洁,最直观的!)。

但是,其中一些可能有些太新了,您必须查阅原始资料。但是,如果您真的只是想拿起技巧包,我认为最重要的调查和一对夫妇学习理论课的讲座将为您提供很长的路要走。

另外,您听起来好像在寻找高级文本,但是我也想插入两个人们非常喜欢的介绍性文本。其中之一是Kearns和(U.)Vazirani撰写的“计算学习理论入门”,虽然比较古老(例如,仅通过Robert Schapire的原始结构提出了提升,但重点是PAC,而不是不可知论的学习),表现得很好,有很好的直觉。就个人而言,我得到了我的基础知识介绍统计学习理论,同一作者的上述调查(但出现的顺序布斯凯,宝诗龙,古喜?); 它具有很好的说明,这是泛化理论第一次真正为我所接受。



By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.