任意分布的不可知论学习

令为位串/标签对，令为布尔值函数的集合。对于每个函数，令：并令：假设算法在任何分布上都不可知地学习，如果对于任何它可以概率找到函数，从而，给定时间和的一些样本 $D$ $\{0,1\}^d\times \{0,1\}$ $C$ $f:\{0,1\}^d\rightarrow\{0,1\}$ $f \in C$

e r r (f, D) = \underset{(x, y) \sim D}{Pr} [f (x) \neq y]

$err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]$

O P T (C, D) = min_{f \in C} e r r (f, D)

$OPT(C,D) = \min_{f \in C}\ err(f,D)$

A

$A$

C

$C$

D

$D$

2 / 3

$2/3$

f

$f$

e r r (f, D) \leq O P T (C, D) + ϵ

$err(f,D) \leq OPT(C,D) + \epsilon$

D

$D$ 它由

d

$d$ 和

的多项式界定

1 / ϵ

$1/\epsilon$ 。

问题：在任意分布上，哪些类函数 $C$ 可以从不可知论上学习？

没有上课太简单了！我知道连单调连词在任意分布上都不是不可知论的，所以我只是在寻找功能的非平凡类。

reference-request machine-learning lg.learning

— 亚伦·罗斯
source

值得一提的是，对于OPT（C，D）> 0（即您的假设假设有误

— Suresh Venkat 2010年

好点子。在OPT（C，D）= 0的特殊情况下，这是PAC学习，并且容易得多。对于不可知论学习，无论什么OPT（C，D）是什么，保证都必须成立。

— 亚伦·罗斯

还有“ PAC w /分类噪声”的情况，其中OPT（C，D）> 0，即使您具有正确的假设类（可实现的设置），也存在一些错误，因为标签由于噪声而随机翻转了……我希望不同设置的名称不会造成混淆。

— 列夫·雷津

听起来像是不可知论的学习，在OPT（C，D）上具有上限

— Suresh Venkat 2010年

不完全是因为在分类噪声模型中不允许将噪声设为任意噪声。因此，如果存在某种对抗性噪声模式，使得在不可知论模型中难以学习（或找到经验风险最小化器），那么分类噪声模型中可能就不会经常出现这种噪声模式（即落入PAC delta参数）。

— 列夫·雷津

如果没有一个类太简单，那么这里有一些不可思议的PAC可学习的类。作为对评论的回应，剔除了多项假设的类：

~~恒定深度决策树（以及仅具有多个假设的其他类）~~
~~超平面（仅假设产生不同的标记） $R^2$ $O(n^2)$~~
间隔的并集（动态编程）
对位的第一个进行奇偶校验（请参阅this和this） $\log(k)\log\log(k)$ $n$
~~低维度环境中的其他假设类别。~~

几乎所有其他内容都是NP难以（至少正确地）不可知论地PAC学习的。

亚当·凯莱（Adam Kalai）的不可知论学习指南也可能使您感兴趣。

— 列夫·雷津
source

谢谢。因此，恒定深度决策树，二维超平面（我假设您所指的其他低维设置）都属于仅具有多项式许多功能的类别，可以通过穷举来学习。log（k）loglog（k）位上的奇偶校验和间隔的并集很有趣，因为它们包含超多项式的许多函数。还有其他这样的人吗？

— 亚伦·罗斯

没错，尽管R ^ 2中有无限多个超平面，但是只有O（n ^ 2）对数据点进行了不同的分类。我什至不知道其他有趣的课程，但是如果我想到/找到任何有趣的课程，我将编辑我的答案。

— 列夫·雷津

所以你想要无限制的VC维度类吗？

— Suresh Venkat 2010年

无限制的VC维肯定会很有趣，但是大型有限（对于固定d）类已经非常有趣（而且似乎很少见）

— Aaron Roth 2010年

@LevReyzin Kalai的讲座链接无效。您能解决这个问题吗？我在网上搜索，但也找不到。

— Anirbit