平价学习问题

让我们定义一组$n$位的函数。修复彼此“合理”不同的两个分布（如果愿意，它们的变化距离至少为或类似的值）。$p, q$$\epsilon$

现在，此类中的每个函数由索引的集合定义，并按如下方式评估：如果所选位的奇偶校验为0，则从返回一个随机样本，否则从返回一个随机样本。ķ 小号p $f$$k$$S$$p$$q$

问题：假设我给Oracle访问一些从这个类，而我知道（或距离的一些其他措施），我不知道和。ε p $f$$\epsilon$$p$$q$

我需要打给PAC学习的电话数量是否有限制？大概我的答案将是和。Ñ ，ķ $f$$n, k$$\epsilon$

注意：我没有指定输出域。同样，我很灵活，但是现在让我们说和是在有限域上定义的。通常，我对在上定义它们的情况也很感兴趣（例如，如果它们是高斯​​派）q [ 1 .. M ] $p$$q$$[1..M]$${\mathbb R}$

以下各行人士在评论中的讨论使我误解了这个问题。我的回答是在Oracle前提不采取任何输入并且返回，其中X 〜p或X 〜q，取决于˚F ∈ ˚F。这显然不是所要的。$(x, f(x))$$x \sim p$$x \sim q$$f \in F$

因为目标分布被固定为每个目标中，PAC-样品上限适用（这是从这样的事实，为了这个目标分发结合可以甚至完全取决于˚F *）。因此， 米≤ 〜Ô（$f^* \in F$$f^*$ 实施例应该足以找到误差的假设≤εWP≥1-δ。注意-看完这些示例后，您需要从F中找到一个一致的假设，这可能很难讲解。

在另一方面，可以得到几乎与下限甚至为的情况下，，均匀分布，其中米≥ Ω （V Ç（˚F ））实施例仍然需要（这可以稍微改善） 。$p=q=U$$m \ge \Omega(\mathrm{VC}(F))$

和q之间的变化距离以及k可能在这些边界之间的小间隙中起作用，但我对此表示怀疑。$p$$q$$k$