决策树的VC维是多少？

二维拆分k个决策树的VC维是多少？假设模型是CART，并且唯一允许的分割与轴平行。

因此，对于一个分割，我们可以在三角形中订购3个点，然后对于这些点的任何标记，我们都可以得到完美的预测（即：破碎点）

但是2分割或任何通用k呢？

我不确定这是一个简单答案的问题，也不相信这甚至是关于决策树的问题。

咨询Aslan等。，计算树的VC维度（2009）。他们通过在小树中进行详尽搜索，然后提供一个近似的递归公式来估计大树上的VC维来解决此问题。然后，他们将此公式用作修剪算法的一部分。如果您的问题有一个封闭的答案，我相信他们会提供。他们觉得有必要迭代甚至很小的树。

我的两分钱价值。我不确定谈论决策决策的VC维度是否有意义。考虑一个维响应，其中每个项目是二元结果。这是Aslan等人考虑的情况。在此样本空间中有2 d种可能的结果和2 d种可能的响应模式。如果我用d级和2 d叶构建一棵完整的树，那么我可以破坏任何2 d模式$d$$2^d$$2^d$$d$$2^d$$2^d$回应。但是没有人适合完整的树木。通常，您过度拟合，然后使用交叉验证修剪。最后得到的是一棵更小，更简单的树，但是您的假设集仍然很大。Aslan等。尝试估计同构树科的VC维。每个家庭都是一个具有自己的VC维的假设集。

$d=3$$(1,0,0,1),(1,1,1,0),(0,1,0,1), (1,1,0,1)$$x1$$x2$

Aslan的蛮力解决方案似乎工作得很好，但是他们得到的并不是人们使用的算法的VC维度，因为它们依赖于修剪和交叉验证。很难说假设空间实际上是什么，因为从原则上讲，我们从大量可能的树开始，然后再修剪成更合理的东西。例如，即使某人以先验的选择开始而不超过两层，仍然可能需要修剪树。而且我们真的不需要VC维，因为交叉验证直接在样本错误之后进行。

为了公平对待Aslan等人，他们没有使用VC维来表征他们的假设空间。他们计算分支的VC维度，并使用该数量确定是否应剪切分支。在每个阶段，他们都使用所考虑分支的特定配置的VC维。他们没有从整体上看问题的VC维度。

如果变量是连续的并且响应取决于达到阈值，那么决策树基本上会创建一堆感知器，因此VC维可能会大于该维（因为您必须估计截止点才能进行拆分） 。如果响应单调依赖于连续响应，则CART会将其分为一系列步骤，尝试重新创建回归模型。在那种情况下，我不会使用树木-可能是游戏或回归。