决策树和回归-预测值是否超出训练数据范围？

对于决策树，预测值是否可以超出训练数据的范围？

例如，如果目标变量的训练数据集范围是0-100，那么当我生成模型并将其应用于其他对象时，我的值可以为-5吗？还是150？

鉴于我对决策树回归的理解是，它仍然是基于规则的-左/右进展，并且在训练集中的树的底部，它永远不会看到超出特定范围的值，因此它将永远无法预测吗？

您是完全正确的：经典决策树无法预测历史观察范围之外的值。他们不会推断。

随机森林也是如此。

从理论上讲，您有时会看到有关更复杂的体系结构（植物学？）的讨论，其中树的叶子不给出单个值，而是包含简单的回归，例如，将因变量回归到特定的数值自变量。在树中导航会给您一个规则集，该规则集确定在哪种情况下将DV回归的数字IV。在这种情况下，可以外推这种“最低水平”回归以产生尚未观察到的值。

但是，我不认为标准的机器学习库会提供这种更为复杂的结构（我最近通过R的CRAN Task Views寻找了这种结构），尽管实际上它应该没有什么复杂的。您也许可以实现自己的包含叶子中回归的树。

另外，请检查插入符号包装中的立体主义者。它在终端节点中建立线性回归，并可以在训练数据中的响应值范围之上和之下推断预测。终端节点也可以根据作为超参数提供的最近邻居进行平均，因此有可能提供极其准确的交叉验证预测。