不可知PAC采样下限

它是公知的，对于经典PAC学习，的例子是必要的，以便acheive结合的误差 WHP，其中是所述概念类的VC-尺寸。 $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

它是已知的都需要在不可知的情况下的例子？ $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— 阿列耶
source

我不确定下界是什么样，如果Hoefding界很紧（我认为是这样），下界应该存在。该界限表明，对于1 fn，如果错误概率为p，则最多需要

样本才能将p估计在误差+

whp之内。因此，请考虑具有2个概念的任何概念类，

和

以及VC维度2。对示例进行分布，以使

（反之亦然），这是可能的，因为VC维度为2。似乎仅使用

的算法

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

示例将暗示改进的Hoefding界。

O (1 / ϵ)

$O(1/\epsilon)$

— 亚伦·罗斯

即，我认为Hoeffding结合被紧在

为

。我认为上述推理是众所周知的...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— 列夫·雷津

好的-好像我在ML课程上还有另一个练习... :)感谢您的输入，Aaron和Lev！

— Aryeh

@Aaron，也许这应该是个答案。

— Suresh Venkat

我现在意识到Anthony和Bartlett确实已经确定了下界（请参见此处的演示文稿）。

编辑2018年9月24日。这个问题一直困扰着我这些年，最近，我和派恩利斯（Pinelis）和我已经获得了在Ann中出现的不可知的PAC下界的确切最佳常数。统计。

— 阿列耶
source

在您的论文中，您不会引用此工作（jmlr.org/papers/volume17/15-389/15-389.pdf）。在可实现的情况下，最佳样本复杂度是否超出了您的工作范围？对于不可知论者而言，这些相应的最佳样本复杂度上限是否已知？

— gradstudent

我不认为可实现的情况与之相关。在可实现的情况下，ERM不能保证最佳比率-因此Hanneke和其他人的所有艰苦工作都必须花费，以消除对数因子，并且仍然无法确定合适的学习者能否达到最佳比率。相反，在不可知的情况下，很长一段时间以来，人们就知道ERM可以达到最佳速率。

— Aryeh