当我们例如使用AUC评估随机森林的质量时，是否更适合在“外出样品”或交叉验证的保留集内计算这些数量？

我听说在OOB Samples上计算得出的结果更为悲观，但我不知道为什么。

cross-validation random-forest auc

— 用户名
source

注意： 虽然我觉得我的答案可能是正确的，但由于我仅在阅读了大约30至60分钟的问题后才思考此问题，因此我对此感到怀疑。因此，您最好对此保持怀疑并仔细检查，不要被我可能过于自信的写作风格所迷惑（我使用大词和精美的希腊符号并不表示我是对的）。

摘要

这只是一个总结。下文和节中提到了所有详细信息。 $\S1$ $\S2$

让我们假设分类的情况（也可以扩展到回归，但是为了简洁起见，省略）。本质上，我们的目标是估计树木森林的误差。袋外误差和k倍交叉验证都试图告诉我们以下可能性：

森林给出了正确的分类（k折交叉验证以这种方式看待它）。

与以下可能性相同：

林木的多数票是正确的票（OOBE这样看）。

两者是相同的。唯一的区别是k倍交叉验证和OOBE假定学习样本的大小不同。例如：

在10倍交叉验证中，学习集为90％，而测试集为10％。
但是，在OOBE中，如果每个袋子都有样本，那么整个样本集中的样本总数，则这意味着学习集实际上约为66％（三分之二），而测试集约为33％（三分之一）。 $n$ $n =$

因此，在我看来，OOBE是对森林误差进行悲观估计的唯一原因仅是因为与通常使用k倍交叉验证（通常为10倍交叉验证）相比，它通常所训练的样本数量较少。

因此，我还认为2倍交叉验证将比OOBE更悲观地估计森林错误，而3倍交叉验证则与OOBE大致相同。

1.了解袋外错误

1.1关于装袋的普遍看法

$n$ $\mathcal{X}$ $n$ $n = |\mathcal{X}|$ $\mathcal{X}$ $n$

1.2。套袋的另一种观点

现在，让我们重新描述一下装袋，以期找到一个希望更容易处理的平等描述。

$t$ $\mathcal{X}_t \subseteq \mathcal{X}$ $\mathcal{X}_t$ $n$

$t$ $\mathcal{X}_t$ $\mathcal{X}_t$ $\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

| X_{t} | + \sum_{i = 1}^{r} | X_{t, i} | = n

$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$

$\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ $n$ $\mathcal{C}_i \in \mathcal{C}$ $a$ $1 \le p \le n$ $i$ $a[p] \in \mathcal{C}_i$ 。

$n$ $a$ $\mathcal{X}_t$ $\S2$ $a$

1.3。简化装袋

$t$ $a$ $\mathcal{X}_t$

$n$ $t$ $\mathcal{X}_t$ $t'$ $a$

$\mathcal{X}_t$

我认为对于给定的划分，熵不会系统地发生变化的原因是，根据经验测得的样本在某些子集中具有特定标签的概率（应用决策划分后）也不会发生变化。

$\mathcal{X}_t$ $d$

1.4测量袋外误差

$\mathcal{O}_t$ $t$ $\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$ $t$

\frac{total x in O_{t} correctly classified by t}{| O_{t} |}

$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$

n_{t}

$n_t$

\frac{\sum_{t = 1}^{n_{t}} total x in O_{t} correctly classified by t}{\sum_{t = 1}^{n_{t}} | O_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$

2.了解k折交叉验证

$\mathcal{X}$ $n_k$ $\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$ $\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$ $\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$ $\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

\frac{\sum_{t = 1}^{n_{k}} total x in K_{t} correctly classified by f}{\sum_{t = 1}^{n_{k}} | K_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$

$f$

— 穴居人
source

评估随机森林：OOB与CV

摘要