回归树可以连续预测吗？

假设我有一个平滑函数，如。我有一个训练集d ⊊ { （（X ，Y ^ ），˚F （X ，Y ^ ））| （X ，Y ^ ）∈ [R 2 }，当然，我不知道˚F虽然我可以评估˚F地方我想要的。$f(x, y) = x^2+y^2$$D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}$$f$$f$

回归树是否能够找到函数的平滑模型（因此，输入中的微小变化只应该导致输出中的微小变化）？

根据我在第10课：回归树中所读的内容，在我看来，回归树基本上将函数值放入了bin中：

对于经典回归树，每个像元中的模型只是Y的恒定估计值。

当他们写“经典”时，我猜有一个变体，其中的细胞做一些更有趣的事情？

回归树，尤其是梯度增强树（本质上是许多树），在连续预测上往往做得很好，通常优于真正连续的模型，如线性回归。当存在可变的交互作用并且您具有足够大的数据集（超过10,000条记录）时，尤其如此，从而不太可能发生过度拟合。如果您的主要目标仅仅是预测能力，那么该模型是100％连续还是伪连续就无关紧要。如果使回归树更连续，从而增强了样本的预测能力，那么您可以简单地增加树的深度或添加更多的树。

在经典回归树中，叶中有一个值，但是在叶中您可以有线性回归模型，请检查此票证。

您还可以使用树木的合奏（随机森林或渐变增强机）来获得连续的输出值。

如果您稍微扩展问题以包括一般的梯度增强技术（与增强回归树的特殊情况相反），那么答案是肯定的。梯度提升已成功用作变量选择的替代方法。mboost软件包就是一个很好的例子。关键在于用于提升的基础学习者类别包括开始的连续模型。本教程描述了基础学习者的典型类别，如下所示：

常用的基本学习器模型可以分为三类：线性模型，平滑模型和决策树。还有许多其他模型，例如马尔可夫随机场（Dietterich等，2004）或小波（Viola和Jones，2001），但它们的应用是为相对特定的实际任务而出现的。

注意，它特别提到了小波。树木和小波已经成功地组合成基于树的小波。