优化决策树的算法

背景

二进制决策树$T$是一个根树，其中每个内部节点（根）由索引标记$j \in \{1,..., n\}$这样从根到叶子的路径都不会重复索引，叶子用的输出标记，每个边用标记左孩子，用标记右边孩子。要将树应用于输入：0 1 $\{A,B\}$$0$$1$$x$

1. 从根开始
2. 如果您在叶子上，则输出叶子标签或并终止$A$$B$
3. 读取当前节点的标签，如果则移至左子级；如果则移至右子级。x j = 0 x j = $j$$x_j = 0$$x_j = 1$
4. 跳至步骤（2）

将树用作评估函数的一种方式，特别是如果对每个我们有则树表示总函数。树的查询复杂度是其深度，函数的查询复杂度是表示该树的最小树的深度。˚F X ∈ { 0 ，1 } Ñ Ť （X ）= ˚F （X $T$$f$$x \in \{0,1\}^n$$T(x) = f(x)$

问题

给定二元决策树T，输出最小深度的二元决策树T'，使得T和T'表示相同的函数。

题

最知名的算法是什么？是否知道下界？如果我们知道怎么办？如果我们仅要求具有大约最小深度该怎么办？T $\text{depth}(T') = O(\log \text{depth}(T))$$T'$

天真的方法

给出的幼稚方法，以递归枚举深度为所有二进制决策树，同时测试它们是否与T评估相同。这似乎需要O （d 2 n n ！d − $d = \text{depth}(T)$$d - 1$$T$$O(\frac{d 2^n n!}{(n - d)!})$步骤（假设花费$d$步骤检查任意x的$T(x)$计算结果）。有没有更好的方法？$x$

动机

这个问题是由先前在查询复杂度和时间复杂度之间进行权衡取舍的问题引起的。特别是，目标是限制所有功能的时间间隔。我们可以从运行时间为t的时间最优算法中生成树，然后将其转换为查询最优算法的树T '。不幸的是，如果牛逼∈ Ø （ñ ！/（ñ - d ）！）（通常d ∈ Θ （ñ $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$）的瓶颈在于转化。如果可以替换，那就太好了！/（n - d ）！大约2 d。$n!/(n - d)!$$2^d$

我有3个答案，所有答案都给出了不同的硬度结果。

让是一些功能。$f: \{0,1\}^n \rightarrow \{0,1\}$

答案1

给定一个决策树计算f和一个数字，很难判断是否存在一个决策树T '计算f的大小最多为该数目。$T$$f$$T'$$f$（Zantema和Bodlaender '00）

答案2

给定决策树计算f，将最小的决策树计算f近似为任何常数因子都是NP 。$T$$f$$f$（Sieling '08）

答案3

让是最小的决策树计算的大小˚F。给定一个决策树Ť计算˚F，假设Ñ P ⊊ d Ť 我中号ë （2 Ñ ε）为一些ε < 1，不能找到一个等效决策树Ť '大小的小号ķ任何ķ ≥ 0。$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

我认为，可以通过以下参数根据Occam决策树算法的学习理论中的已知结果得出这个更强的答案（基于一个较弱的假设）：

1. 是否有可能在时间n log s的变量 上找到决策树，其中s是与来自分布（PAC模型）的示例一致的最小决策树。（百隆'92） $n$$n^{\log s}$$s$
2. 假设为一些ε < 1，我们不能PAC学习大小小号通过尺寸决策树小号ķ决策树对于任何ķ ≥ 0。（Alekhnovich et al.'07）$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

这两个结果似乎暗示您的问题的硬度结果。一方面（1），我们可以找到一个很大的决策树；另一方面，（2），我们不应该能够将其最小化来获得同等的“小”之一，大小，即使在一个尺寸的存在小号。$s^k$$s$