自举中的.632+规则是什么？

在这里， @ gung引用了.632+规则。快速的Google搜索无法就此规则的含义以及它的用途产生简单易懂的答案。有人可以阐明.632+规则吗？

我将使用0.632估算器，但这将是一个漫长的发展：

假设我们要预测与使用函数，其中可以取决于所使用的数据来估计一些参数例如$Y$$X$$f$$f$$(\mathbf{Y}, \mathbf{X})$$f(\mathbf{X}) = \mathbf{X}\mathbf{\beta}$

预测误差的简单估计为，其中是某些损失函数，例如平方误差损失。这通常称为训练错误。Efron等。称为表观错误率或替换率。这不是很好，因为我们使用数据来拟合。这导致被向下偏置。您想知道模型在预测新值方面做得如何。

$$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ $L$$(x_i,y_i)$$f$$\overline{err}$$f$

通常，我们使用交叉验证作为估计预期样本外预测误差的简单方法（我们的模型对不在训练集中的数据的处理效果如何？）。

$$Err = \text{E}\left[ L(Y, f(X))\right]$$

一种流行的方法是进行折交叉验证。将您的数据分成组（例如10个）。对于每个组，将模型拟合到其余的组，并在第组进行测试。我们的交叉验证的额外样本预测误差仅为平均值其中是一些指数函数，用于指示观测分区被分配和是预测值不在使用数据个组。$K$$K$$k$$K-1$$k$

$$Err_{CV} = \dfrac{1}{N}\sum_{i=1}^N L(y_i, f_{-\kappa(i)}(x_i))$$ $\kappa$$i$$f_{-\kappa(i)}(x_i)$$x_i$$\kappa(i)$

当时，该估计器对于真实的预测误差几乎是无偏的，并且具有较大的方差，而对于较大的计算量更大。因此，我们再次看到偏差与方差的权衡在起作用。$K=N$$K$

代替交叉验证，我们可以使用引导程序来估计额外样本的预测误差。引导程序重采样可用于估计任何统计信息的采样分布。如果我们的训练数据，那么我们可以认为服用从这组bootstrap样本（带替换），其中每个是一组样本。现在，我们可以使用引导程序样本来估计样本外预测误差：，其中是模型拟合到模型的处的预测值$\mathbf{X} = (x_1,\ldots,x_N)$$B$$\mathbf{Z}_1,\ldots,\mathbf{Z}_B$$\mathbf{Z}_i$$N$

$$Err_{boot} = \dfrac{1}{B}\sum_{b=1}^B\dfrac{1}{N}\sum_{i=1}^N L(y_i, f_b(x_i))$$ $f_b(x_i)$$x_i$$b$引导数据集。不幸的是，这并不是一个特别好的估计器，因为用于产生引导样本可能包含。留一法引导程序估计器通过模仿交叉验证提供了一种改进，其定义为：，其中是引导样本的索引集，不包含观测值和是此类样本的数量。$f_b(x_i)$$x_i$ $$Err_{boot(1)} = \dfrac{1}{N}\sum_{i=1}^N\dfrac{1}{|C^{-i}|}\sum_{b\in C^{-i}}L(y_i,f_b(x_i))$$ $C^{-i}$$i$$|C^{-i}|$$Err_{boot(1)}$解决了过度拟合的问题，但仍然存在偏见（这一点是向上偏见的）。偏差归因于自举样品中的明显区别，这是由于更换样品而导致的。每个样本中平均不同观测值的平均数约为（请参阅此答案以解释为什么每个引导样本平均为何平均包含大约三分之二的观测值？）。为了解决偏差问题，Efron和Tibshirani提出了0.632估算器： 其中$0.632N$ $$Err_{.632} = 0.368\overline{err} + 0.632Err_{boot(1)}$$ $$\overline{err} = \dfrac{1}{N}\sum_{i=1}^N L(y_i,f(x_i))$$ 是对预测误差的幼稚估计，通常称为训练误差。这个想法是平均一个向下偏差的估计和一个向上偏差的估计。

但是，如果我们具有高度过拟合的预测函数（即），那么即使.632估计量也将向下偏置。.632+估算器设计为和之间的偏差较小。 其中 ，其中是无信息错误率，通过评估预测模型对所有可能的组合进行估算目标和预测变量。$\overline{err}=0$$\overline{err}$$Err_{boot(1)}$

$$Err_{.632+} = (1 - w) \overline{err} + w Err_{boot(1)}$$ $$w = \dfrac{0.632}{1 - 0.368R} \quad\text{and}\quad R = \dfrac{Err_{boot(1)} - \overline{err}}{\gamma - \overline{err}}$$ $\gamma$$y_i$$x_i$

$$\gamma = \dfrac{1}{N^2}\sum_{i=1}^N\sum_{j=1}^N L(y_i, f(x_j))$$ 。

在此，衡量相对过拟合率。如果没有过度拟合（R = 0，则当）时，它等于.632估计量。$R$$Err_{boot(1)} = \overline{err}$

您将在本文^1的第3节中找到更多信息。但总而言之，如果您将随机抽取并替换为的数字称为，则平均包含大约独特元素。$S$$n$$\{1:n\}$$S$$(1-e^{-1})\,n \approx 0.63212056\, n$

推理如下。我们通过从采样次（随机且替换）来填充。考虑一个特定的索引。 $S=\{s_1,\ldots,s_n\}$$i=1,\ldots,n$$\{1:n\}$$m\in\{1:n\}$

然后：

$$P(s_i=m)=1/n$$

和

$$P(s_i\neq m)=1-1/n$$

这是正确的（直觉上，由于我们进行替换采样，所以概率不取决于）$\forall 1\leq i \leq n$$i$

从而

$$P(m\in S)=1-P(m\notin S)=1-P(\cap_{i=1}^n s_i\neq m)\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;=1-\prod_{i=1}^n P(s_i\neq m)=1-(1-1/n)^n\approx 1-e^{-1}$$

您还可以进行以下模拟，以凭经验检查近似值的质量（取决于）：$n$

n <- 100
fx01 <- function(ll,n){
    a1 <- sample(1:n, n, replace=TRUE)
    length(unique(a1))/n
}
b1 <- c(lapply(1:1000,fx01,n=100), recursive=TRUE)
mean(b1)

1. Bradley Efron和Robert Tibshirani（1997）。交叉验证的改进：.632+引导程序方法。美国统计协会杂志，第一卷。92，第438号，第548--560页。

以我的经验为基础，主要基于模拟，仅由于使用不正确的准确性评分规则（即正确地“分类”的比例）引起的严重问题，才需要0.632和0.632+的引导程序变体。当您使用适当的（例如，基于偏差或Brier评分）或半适当的（例如， -index = AUROC）评分规则时，标准的Efron-Gong乐观引导程序就可以正常工作。$c$

这些答案非常有用。我找不到用数学证明它的方法，所以我写了一些效果很好的Python代码：

    from numpy import mean
    from numpy.random import choice

    N = 3000

    variables = range(N)

    num_loop = 1000
    # Proportion of remaining variables
    p_var = []

    for i in range(num_loop):
        set_var = set(choice(variables, N))
        p=len(set_var)/float(N)
        if i%50==0:
            print "value for ", i, " iteration ", "p = ",p
        p_var.append(p)

    print "Estimator of the proportion of remaining variables, ", mean(p_var)