`predict.randomForest`如何估计类概率？

randomForest使用时，包装如何估计班级概率predict(model, data, type = "prob")？

我当时使用参数来预测概率ranger来训练随机森林probability = T。ranger在文档中说：

与Malley等人一样，种植概率森林。（2012）。

我模拟了一些数据并尝试了两个软件包，并获得了截然不同的结果（请参见下面的代码）

因此，我知道它使用另一种技术（然后是游侠）来估计概率。但是哪一个呢？

simulate_data <- function(n){
  X <- data.frame(matrix(runif(n*10), ncol = 10))
  Y <- data.frame(Y = rbinom(n, size = 1, prob = apply(X, 1, sum) %>%
                               pnorm(mean = 5)
                             ) %>% 
                    as.factor()

  ) 
  dplyr::bind_cols(X, Y)
}

treino <- simulate_data(10000)
teste <- simulate_data(10000)

library(ranger)
modelo_ranger <- ranger(Y ~., data = treino, 
                                num.trees = 100, 
                                mtry = floor(sqrt(10)), 
                                write.forest = T, 
                                min.node.size = 100, 
                                probability = T
                                )

modelo_randomForest <- randomForest(Y ~., data = treino,
                                    ntree = 100, 
                                    mtry = floor(sqrt(10)),
                                    nodesize = 100
                                    )

pred_ranger <- predict(modelo_ranger, teste)$predictions[,1]
pred_randomForest <- predict(modelo_randomForest, teste, type = "prob")[,2]
prob_real <- apply(teste[,1:10], 1, sum) %>% pnorm(mean = 5)

data.frame(prob_real, pred_ranger, pred_randomForest) %>%
  tidyr::gather(pacote, prob, -prob_real) %>%
  ggplot(aes(x = prob, y = prob_real)) + geom_point(size = 0.1) + facet_wrap(~pacote)

这只是合奏中树木投票的比例。

library(randomForest)

rf = randomForest(Species~., data = iris, norm.votes = TRUE, proximity = TRUE)
p1 = predict(rf, iris, type = "prob")
p2 = predict(rf, iris, type = "vote", norm.votes = TRUE)

identical(p1,p2)
#[1] TRUE

或者，如果将概率乘以，则ntree得到的结果相同，但现在是计数而不是比例。

p1 = predict(rf, iris, type = "prob")
p2 = predict(rf, iris, type = "vote", norm.votes = FALSE)

identical(500*p1,p2)
#[1] TRUE

可在此处找到Malley（2012）：http：//dx.doi.org/10.3414%2FME00-01-0052。完整的参考资料在Ranger文档的参考资料部分中。

简而言之，每棵树都预测类别概率，并将这些概率平均进行森林预测。对于两个类，这等效于0-1编码响应上的回归林。

相反，在randomForest与type="prob"每棵树预测类和概率从这些类来计算。

在这里的示例中，我尝试使用统一分布而不是正态分布来生成概率，在这里，另一种方法似乎表现更好。我想知道这些概率真的是真的吗？

顺便说一句，randomForest通过使用分类和手​​动概率计算（用于predict.all=TRUE预测），可以使用游侠获得与以上示例相同的结果。

如果要进行袋外概率估计，则只能使用model $ votes在R中的randomForest包中进行。其他概率估计值不是OOB。