Dana Angluin用于学习常规集的算法是否有改进

Dana Angluin在1987年的开创性论文中提出了一种多项式时间算法，用于从成员资格查询和理论查询（拟议DFA的反例）中学习DFA。

她表明，如果您尝试学习具有个状态的最小DFA ，而最大的countexample的长度为，那么您需要进行成员资格查询，最多需要进行理论查询。 $n$ $m$ $O(mn^2)$ $n - 1$

学习常规集所需的查询数量是否有了重大改进？

参考文献和相关问题

Dana Angluin（1987）“从查询和反例中学习规则集”，《启发与计算》 75：87-106
成员资格查询和反例模型中的学习下限

algorithms learning-theory machine-learning

— 阿尔特姆·卡兹纳切夫（Artem Kaznatcheev）
source

希望@DominikFreydenberger在将来的某个时候掉队。他会知道。

— 拉斐尔

我怀疑@LevReyzin也知道答案……这就是为什么我最初考虑在cstheory上提问，但是我想我应该帮助发展这个新网站。

— Artem Kaznatcheev 2012年

不能回答这个问题，但可能仍会有所帮助：[ citeulike.org/user/erelsegal-halevi/article/9275508学习常规语言的通用内核]

— Erel Segal-Halevi 2012年

感谢您提供@Erel链接，但我不明白它的关系。Kontorovich的通用内核无法有效计算，并且学习模型没有反例。

— Artem Kaznatcheev

Answers:

在对cstheory.SE的回答中，列夫·雷津（Lev Reyzin）指导我了解罗伯特· 沙皮尔（Robert Schapire）的论点，该论点改进了5.4.5节中对成员资格查询的限制。反例查询的数量保持不变。在反例查询之后，Schapire使用的算法有所不同。 $O(n^2 + n\log m)$

改进草图

在最高级别，Schapire力从Angluin的算法有额外的条件，对于一个封闭的和各，如果则。这保证了 $(S,E,T)$ $(S,E,T)$ $s_1, s_2 \in S$ $s_1 \neq s_2$ $row(s_1) \neq row(s_2)$ 也使得一致性Angluin算法的性能容易的去满足。为了确保这一点，他必须以不同的方式处理反例的结果。 $|S| \leq n$

给定一个反，Angluin简单地添加及其所有前缀。Schapire通过向添加单个元素来做一些更细微的事情。在Angluin的意义上，这个新的将使不被关闭，并且通过在上引入至少一个新字符串，同时保持所有行都不同来进行更新以使其闭合。的条件是： $z$ $z$ $S$ $e$ $E$ $e$ $(S,E,T)$ $S$ $e$

\exists s, s^{'} \in S, a \in Σ s.t r o w (s) = r o w (s^{'} a) and o (δ (q_{0}, s e)) \neq o (δ (q_{0}, s^{'} a e))

$\exists s, s' \in S, a \in \Sigma \quad \text{s.t} \quad row(s) = row(s'a) \; \text{and} \; o(\delta(q_0,se)) \neq o(\delta(q_0,s'ae))$

其中是输出函数，是初始状态，是真正的“未知” DFA的更新规则。。换句话说，必须作为一个见证未来区分从。 $o$ $q_0$ $\delta$ $e$ $s$ $s'a$

为了弄清楚这个从我们做一个二进制搜索找出一个子这样和使得我们的被推测机器的行为基于一个输入字符而有所不同。更具体地说，我们让是对应于状态字符串按照我们猜想机达到。我们使用二进制搜索（这是 $e$ $z$ $r_i$ $z = p_ir_i$ $0 \leq |p_i| = i < |z|$ $s_i$ $p_i$ $\log m$ 来找到一个使得。换句话说，区分两个指出我们猜想的机器发现等，因而满足该条件，所以我们把它添加到。 $k$ $o(\delta(q_0,s_kr_k)) \neq o(\delta(q_0,s_{k+1}r_{k+1})$ $r_{k+1}$ $e$ $E$

— 阿尔特姆·卡兹纳切夫（Artem Kaznatcheev）
source

我不知道我的答案是否仍然有用。最近，已经描述了一种新算法的实现，该算法称为“观察包”，或者在某些情况下由Falk Howar实现。该算法类似于L *，但使用Rivest-Shapire或其他方法（请参见Steffen和Isberner）进行句柄反例分解；它使用一种数据结构，一个鉴别树（一个二叉树）来有效地进行“筛选”，即插入一个新状态的A转换（其中A是字母的每个符号），直到没有封闭为止。该算法有两个版本：根据是否将分解中建立的后缀添加到每个组件中（在该组件中添加后缀的比例），OneGlobally和OneLocally（算法的比率是，组件中的所有前缀都等于短前缀，并根据找到的后缀表示目标中的相同状态稍后，在一个新的反例中，发现了一个新的后缀，该后缀区分出同一组件的至少2个前缀（这导致该组件分成两个组件）。使用OneLocally，成员资格查询要少得多，但是当目标DFA较大时，等效查询的数量会急剧增加。而是，OneGlobally的成员资格查询数始终小于L *（但大于OneLocally），并且等效查询的数量与L *类似后来有了一个新的反例，发现了一个新后缀，该后缀可以区分同一组件的至少2个前缀。这导致该组件分成两个组件）。使用OneLocally，成员资格查询要少得多，但是当目标DFA较大时，等效查询的数量会急剧增加。而是，OneGlobally的成员资格查询数始终小于L *（但大于OneLocally），并且等效查询的数量与L *类似后来有了一个新的反例，发现了一个新后缀，该后缀可以区分同一组件的至少2个前缀。这导致该组件分成两个组件）。使用OneLocally，成员资格查询要少得多，但是当目标DFA较大时，等效查询的数量会急剧增加。而是，OneGlobally的成员资格查询数始终小于L *（但大于OneLocally），并且等效查询的数量与L *类似

我知道也存在另一种算法：TTT算法也比观察包更好，但我对此并不了解.TTT算法应该是最新技术

— 翁伯特
source

感谢您的回答！您有关于Howar算法和TTT的论文参考吗？

— Artem Kaznatcheev

这个用于观察包的链接Howar 和这个用于TTT算法的链接TTT 您可以在LearLib中找到实现（观察包在那儿称为歧视树）

— Umbert