精确学习与成员资格查询的组合表征

15

编辑：由于一周内未收到任何答复/评论，我想补充一点，我很高兴听到有关该问题的任何消息。我不在该地区工作，因此即使只是简单的观察，我可能也不知道。即使是诸如“我在该地区工作，但我还没有看到这样的特征”之类的评论也会有所帮助！

背景：

学习理论中有几种经过充分研究的学习模型（例如PAC学习，在线学习，带有成员资格/对等查询的精确学习）。

例如，在PAC学习中，概念类的样本复杂度就该类的VC维而言具有很好的组合特征。因此，如果我们想学习具有恒定准确度和置信度的类，可以使用样本来完成，其中是VC维。（请注意，我们谈论的是样本复杂度，而不是时间复杂度。）在准确性和置信度方面，还有一个更精细的表征。同样，在线学习的错误界限模型具有很好的组合特征。 $\Theta(d)$ $d$

题：

我想知道类似结果是否适用于成员资格查询的精确学习模型。该模型的定义如下：我们可以访问一个黑盒，该黑盒在输入给出。我们知道来自一些概念类。我们想用尽可能少的查询来确定。 $x$ $f(x)$ $f$ $C$ $f$

是否存在概念类的组合参数，以表征在具有成员资格查询的精确学习模型中学习概念所需的查询数量？ $C$

我知道的：

我发现的最好的这种表征是Servedio和Gortler在本文中使用的，他们将其归因于Bshouty，Cleve，Gavaldà，Kannan和Tamon。他们定义了一个称为的组合参数 $\gamma^C$ ，其中是概念类，具有以下属性。（让为在此模型中学习所需的最佳查询数。） $C$ $Q_C$ $C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

这种表征几乎是严格的。但是，上限和下限之间可能存在二次间隙。例如，如果，则下限为，但上限为。（我也认为此差距是可以实现的，即存在一个概念类，其下限均为，但上限为。） $1/\gamma^C = \log |C| = k$ $\Omega(k)$ $O(k^2)$ $\Omega(k)$ $O(k^2)$

reference-request machine-learning lg.learning

— 罗宾·科塔里（Robin Kothari）
source

1

“干草堆维”表征了优化函数的查询复杂性：cis.upenn.edu/~mkearns/papers/haystack.pdf，这与您想要的不同，但是您可能会喜欢相关的工作，其中讨论了有关表征的知识精确学习的查询复杂度。

— 亚伦·罗斯

6

为了说明匿名驼鹿的例子，请考虑由仅在{0,1} ^ n中的一个点输出1的函数组成的概念类。该类的大小为2 ^ n，在最坏的情况下需要2 ^ n个查询。看一下最坏情况的教学维度（Goldman＆Schapire），它提供了与您所寻找的类似的东西。

— 匿名鹅
source

1

谢谢！搜索教学维度将我带到了扩展教学维度，这与我在问题中提到的组合参数相似，然后使我引出了许多关于该主题的有趣论文。

— 罗宾·科塔里

4

我不知道这种特征。但是，值得注意的是，几乎对于任何概念类，都需要查询所有点。为此，请考虑由汉明权重为1的所有n维布尔向量组成的概念类。该概念类显然需要学习n个查询，这等于其基数。您可能可以概括此观察结果，以使几乎所有概念类也都需要执行所有查询。

我怀疑如果将概念类C作为输入，要确定使用成员资格查询来精确学习概念类的复杂性，甚至很难近似为一个常数就很难确定。这将表明不存在“良好”组合特征。如果您想证明这样的NP硬度结果，但是尝试失败，请随时在此处发布，我将看看是否可以解决（我有一些想法）。

— 匿名麋
source

1

感谢您的回复。即使确实很难学习几乎所有概念类（在类之间合理分配），某些类也很容易学习，并且具有一个组合参数来表征这一点很有趣。我不介意该参数是否难以计算。甚至VC维度也不是可有效计算的。

— 罗宾·科塔里

1

尽管其他人指出了答案。我以为我可以使它自成一体，并说明为什么教学方式才是答案。

考虑一个概念类在输入空间。一组元素的被调用的概念的教学组如果是在仅概念一致。 $C$ $X$ $S\subseteq X$ $f$ $f$ $C$ $S$

令为的所有教学集的集合，并定义TD 为教学尺寸。即，最小教学集TS 在的基数。同样，考虑TD max $\mathcal{T}(f)$ $f$ $(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$ $f$ $_{min}(f)$ $\mathcal{T}(f)$ $(C)=$ TD是教学尺寸。 $_{f\in C}$ $(f,C)$ $C$

识别所需的最小查询数是TD 。这种情况发生在查询策略使用TS序列。至于更少的查询，我们至少有两个与之相符的概念。TD 是任何的最小值。 $f$ $(f,C)$ $_{min}(f)$ $(C)$ $f$

— 设定者
source

我不明白为什么教学维度会限制学习

的查询复杂度。该算法是什么样的？当我们开始时，函数

对于算法是未知的，因此它不能简单地查询

的示教集。

f

$f$

f

$f$

f

$f$

— 罗宾·科塔里

@RobinKothari TD下限限制了任何MQ算法中的最小查询数。在实践中，可能没有算法在没有作弊或代码欺骗的情况下盲目达到此限制。在Angluin的“重新查询查询”一文中，她讨论了一个称为MQ的参数，该参数表示在最坏情况下最佳MQ算法所需的查询数量。我不记得它的细节，但是肯定是TD <= MQ。

— seteropere 2015年

1

我感兴趣的（当我问这个问题时）是一个参数，该参数表征成员资格查询的精确学习。它应该是一个上限和下限。我提供了一个参数示例，该参数可以在问题中实现此目的（最大对数| C |因子）。我的问题是是否知道更好的东西。

— 罗宾·科塔里