每叶具有线性回归模型的回归树算法

简短版：我正在寻找可以构建决策树的R包，而决策树中的每个叶子都是完整的线性回归模型。AFAIK，该库rpart创建决策树，其中因变量在每个叶子中都是恒定的。是否存在rpart可以构建此类树的另一个库（或我不知道的设置）？

加长版：我正在寻找一种基于训练数据集构建决策树的算法。树中的每个决策根据自变量之一的条件将训练数据集分为两部分。树的根包含完整的数据集，并且数据集中的每一项仅包含在一个叶节点中。

该算法如下所示：

1. 从完整的数据集开始，该数据集是树的根节点。选择这个节点，并调用它。$N$
2. 在的数据上创建线性回归模型。$N$
3. 如果的的线性模型比某个阈值更高，那么我们已处理完毕的，所以标记作为叶并跳转到步骤5。$R^2$$N$$\theta_{R^2}$$N$$N$
4. 尝试随机决策，然后选择在子节点中产生最佳决策： $n$$R^2$
   • 选择一个随机独立变量，以及一个随机阈值θ 我。$v_i$$\theta_i$
   • 决定拆分所述数据集的Ñ成两个新节点，Ñ和〜Ñ。$v_i \leq \theta_i$$N$$\hat{N}$$\tilde{N}$
   • 创建两个线性回归模型Ñ和〜Ñ，并计算它们的- [R 2（它们调用ř和〜- [R ）。$\hat{N}$$\tilde{N}$$R^2$$\hat{r}$$\tilde{r}$
   • 从所有这些元组（v 我，θ 我，- [R ， 〜 - [R ）中，选择一个具有最大米我Ñ （[R ， 〜 - [R ）。 这就产生了树一个新的决定，并ñ有两个新的子节点ñ和〜ñ。$n$$(v_i, \theta_i, \hat{r}, \tilde{r})$$min(\hat{r}, \tilde{r})$$N$$\hat{N}$$\tilde{N}$
5. 我们已经完成了处理。选择一个尚未处理的新节点N，然后返回步骤2。如果所有节点均已处理，则算法结束。$N$$N$

这将以递归方式建立决策树，将数据分成较小的部分，并在每个部分上计算线性模型。

步骤3是退出条件，可以防止算法过度拟合。当然，还有其他可能的退出条件：

• 出口如果的树中的深度为上述θ d Ë p 吨$N$$\theta_{depth}$
• 出口如果在数据集中小于θ d 一吨一个小号ë $N$$\theta_{data set}$

R包中有这样的算法吗？

尽管它们的工作原理与您的算法不同，但我相信您会发现mob（）和FTtree很有趣。有关Zeileis的暴民，请访问http://cran.r-project.org/web/packages/party/vignettes/MOB.pdf。对于FTtree，Gama的功能树，Weka和RWeka中都有一个实现。有关详细信息，请参见http://cran.r-project.org/web/packages/RWeka/index.html。

RWeka软件包提供了许多回归方法。其中，您可以找到M5P（M5 Prime），它是基于树的回归模型，在叶子中具有线性方程。有关M5方法的更多详细信息，请参见出版物。

示例代码为：

library(RWeka)
M5_model = M5P (Dep_var ~ ., data = train, control = Weka_control(N=F, M=10))
train_predicted = predict(M5_model, train)
test_predicted = predict(M5_model, test)

如果您想通过M5方法使用装袋合奏，请尝试以下操作：

M5_bag = Bagging(Dep_var ~ ., data = train, control = Weka_control(P=100, I = 100, W = list("weka.classifiers.trees.M5P", M = 4)))

要查看M5P模型的控制选项，请尝试：

WOW(M5P)

如果您想优化M5方法，可以在caret软件包中找到解决方案：

library(caret)
Optimization = train (Dep_var ~ .,data = train, method = 'M5')

我认为这可以回答您问题的简短版本：

该立体派 包装千篇一律规则为基础的模型与线性回归模型在终端离开，基于实例的更正和增强功能（类似于树）。

从Cran任务视图：机器学习