正确的PAC学习VC尺寸范围

众所周知，对于具有VC维d的概念类，获得O （$\mathcal{C}$$d$标记为PAC学习C的示例。我不清楚PAC学习算法（使用这么多样本）是正确的还是不合适的？在Kearns和Vazirani以及Anthony和Biggs的教科书中，PAC学习算法似乎是不正确的（即，输出假设不在C中）$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$\mathcal{C}$$\mathcal{C}$

1. 有人可以澄清一下类似的上限是否也适用于正确的PAC学习设置吗？如果是这样，您能否给我参考，其中明确提到了该参考并且还包含独立的证据？

2. 最近，Hanneke通过消除对因子改善了这一界限。有人可以澄清一下，对于正确的PAC学习设置，是否已知可移动日志（1 / ε ）？还是仍然有待解决的问题？$\log(1/\varepsilon)$$\log(1/\varepsilon)$

感谢Aryeh提请我注意这个问题。

正如其他人提到的那样，（1）的答案是“是”，$\mathcal{C}$中经验风险最小化的简单方法实现了$O((d/\varepsilon)\log(1/\varepsilon))$样本复杂度（请参阅Vapnik和Chervonenkis，1974； B。 Blumer，Ehrenfeucht，Haussler和Warmuth，1989年）。

至于（2），实际上已知存在空间$\mathcal{C}$ ，其中没有适当的学习算法可以实现比$\Omega((d/\varepsilon)\log(1/\varepsilon))$样本复杂度更好的空间，因此适当的学习无法达到最佳$O(d/\varepsilon)$样本复杂度。据我所知，这一事实从未真正发表过，而是植根于Daniely和Shalev-Shwartz（COLT 2014）的一个相关论点（最初是为多类学习中一个不同但相关的问题制定的）。

考虑简单情况下$d=1$，并把该空间$\mathcal{X}$为$\{1,2,...,1/\varepsilon\}$，和$\mathcal{C}$是单身$f_z(x) := \mathbb{I}[x = z], z \in \mathcal{X}$：即，在每个分类$\mathcal{C}$进行分类从恰好一个点$\mathcal{X}$为$1$，其它为$0$。对于下界，以目标函数作为随机单$f_{x^*}$，其中$x^{*} \sim {\rm Uniform}(\mathcal{X})$，和$P$的边缘分布$X$，是均匀的上$\mathcal{X}\setminus\{x^*\}$。现在的学生从来没有看到任何标记示例$1$，但必须选择一个点$z$来猜测被标记为$1$（重要的是，``全零“”功能是不是在$\mathcal{C}$的，因此任何适当的学习者必须猜测一些$z$），并且，直到它已经看到的每一个点在$\mathcal{X}\setminus\{x^*\}$它具有至少$1/2$猜测错误（即，它的的后验概率的机会$f_z$具有$z \neq x^*$为至少$1/2$）。优惠券收集器参数暗示它将需要$\Omega((1/\varepsilon)\log(1/\varepsilon))$采样以查看$\mathcal{X} \setminus \{x^*\}$每个点。因此，这证明了所有适当学习者的$\Omega((1/\varepsilon)\log(1/\varepsilon))$下界。

对于一般的$d>1$，我们取$\mathcal{X}$为$\{1,2,...,d/(4\varepsilon)\}$，采取$\mathcal{C}$作为分类$\mathbb{I}_{A}$用于集$A \subset \mathcal{X}$大小的准确$d$，选择在从随机目标函数$\mathcal{C}$，并采取$P$再次尽可能均匀上只是点的目标函数进行分类$0$（因此学习者永远不会看到标记为1的点$1$）。然后，对coupon-collector参数进行一般化，意味着我们需要$\Omega((d/\varepsilon)\log(1/\varepsilon))$样本才能至少看到$|\mathcal{X}| - 2d$从不同的点$\mathcal{X}$，没有看到这许多不同的点的任何适当的学习者具有至少$1/3$得到大于的机会$d/4$其猜测的$A$的$d$在其选择的假设点错$h_{A}$，意味着其错误率大于$\varepsilon$。因此，在这种情况下，没有合适的学习者的样本复杂度小于$\Omega((d/\varepsilon)\log(1/\varepsilon))$，这意味着没有合适的学习者获得了最佳的样本复杂度$O(d/\varepsilon)$。

请注意，结果非常特定于所构造的空间$\mathcal{C}$确实存在空间$\mathcal{C}$其中适当的学习者可以实现$O(d/\varepsilon)$最佳样品的复杂性，并且实际上甚至确切的完整表达$O((d/\varepsilon)+(1/\varepsilon)\log(1/\delta))$从（ Hanneke，2016a）。在（Hanneke，2016b）中已经开发了一些通用ERM学习者的上下限，并根据空间C的性质对其进行了量化$\mathcal{C}$，以及讨论一些更特殊的情况，在这些情况下，特定的适当学习者有时可以实现最佳的样本复杂度。

参考文献：

Vapnik和Chervonenkis（1974）。模式识别理论。1974年，莫斯科，瑙卡。

Blumer，Ehrenfeucht，Haussler和Warmuth（1989）。学习能力和Vapnik-Chervonenkis维度。计算机协会学报，36（4）：929–965。

Daniely和Shalev-Shwartz（2014）。多类问题的最佳学习者。在第27届学习理论会议论文集中。

Hanneke（2016a）。PAC学习的最佳样本复杂度。机器学习研究杂志，第一卷。17（38），第1-15页。

Hanneke（2016b）。改进的误差界限，适用于多种学习算法。机器学习研究杂志，第一卷。17（135），第1-55页。

$\Omega(\frac{d}{\epsilon}\log\frac1\epsilon)$$\epsilon$$[a,b]\subseteq[0,1]$$O(1/\epsilon)$$[0,0]$$\frac{1}{\epsilon}\log\frac1\epsilon$$1/$

P. Auer，R。Ortner。用于交叉点封闭概念类的新PAC绑定。机器学习66（2-3）：151-163（2007） http://personal.unileoben.ac.at/rortner/Pubs/PAC-intclosed.pdf

关于正确的PAC的事情是，为了在抽象情况下获得积极的结果，人们无法指定一种超出ERM的算法，该算法表示“找到与标记样本一致的概念”。当您具有其他结构（例如间隔）时，可以检查两种不同的ERM算法，如上所述：最小与最大一致段。这些具有不同的样本复杂度！

不正确的PAC的强大功能在于您可以设计各种投票方案（Hanneke就是这样的结果）-这种额外的结构可以让您证明提高的投票率。（对于不可知论的PAC，这个故事更简单，因为ERM可以为您提供最佳的最坏情况下的速率，最高可达常数。）

$O(d/\epsilon)$

要添加到当前接受的答案中：

1. $$O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)$$ $\mathsf{NP}=\mathsf{RP}$$L$$\mathcal{H}=\mathcal{C}$

2. $\log(1/\varepsilon)$

   $\log(1/\varepsilon)$$(\varepsilon, \delta)$

   （同一篇文章中的脚注1也与此相关）

[1] A. Blumer，A。Ehrenfeucht，D。Haussler和MK Warmuth。学习能力和Vapnik-Chervonenkis维度。ACM杂志，36（4）：929-965，1989。

[2] S. Hanneke。PAC学习的最佳样本复杂度。J.马赫 学习。Res。17，1，1319-1333，2016。

[3] S. Arunachalam和R. de Wolf。学习算法的最佳量子样本复杂度。在2017年第32届计算复杂性会议（CCC）会议录中。