关于不确定性的自举估计的假设

62

我赞赏引导程序在获得不确定性估计中的有用性，但一直困扰着我的一件事是，与那些估计相对应的分布是样本定义的分布。通常，认为我们的采样频率看起来与基础分布完全相似似乎是一个坏主意，那么，为什么基于采样频率定义基础分布的分布来导出不确定性估计是合理的/可以接受的呢？

另一方面，这可能并不比我们通常所做的其他分布假设差（可能更好），但我仍然想更好地理解其理由。

bootstrap uncertainty

— 用户4733
source

3

您可能需要浏览几个相关的问题。一些在此页的侧边列出。这是关于引导程序何时失败以及失败的含义。

— 主教

55

可以想象有几种方法可以应用引导程序。两种最基本的方法是所谓的“非参数”引导程序和“参数”引导程序。第二个假设您正在使用的模型是（基本上）正确的。

让我们专注于第一个。我们假设您具有根据分布函数分布的随机样本。（否则假设需要修改方法。）令为经验累积分布功能。引导的动机主要来自两个事实。 $X_1, X_2, \ldots, X_n$ $F$ $\hat{F}_n(x) = n^{-1} \sum_{i=1}^n \mathbf{1}(X_i \leq x)$

Dvoretzky–Kiefer–Wolfowitz不等式

P (sup_{x \in R} | {\hat{F}}_{n} (x) - F (x) | > ε) \leq 2 e^{- 2 n ε^{2}} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr\big( \textstyle\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| > \varepsilon \big) \leq 2 e^{-2n \varepsilon^2} \> .$

这表明，经验分布函数均匀地收敛于真实分布函数，概率呈指数级增长。确实，这种不平等加上Borel–Cantelli引理立即表明几乎肯定。 $\sup_{x \in \mathbb{R}} \,|\hat{F}_n(x) - F(x)| \to 0$

的形式没有附加条件可以保证这种收敛。 $F$

试探性地，那么，如果我们对光滑的分布函数的某个函数感兴趣，那么我们期望接近。 $T(F)$ $T(\hat{F}_n)$ $T(F)$

（逐点）无偏性 $\hat{F}_n(x)$

通过期望的简单线性和，对于每个， $\hat{F}_n(x)$ $x \in \mathbb{R}$

Ë_{F} {\hat{F}}_{ñ} （ X ） = F （ X ） 。

$\newcommand{\e}{\mathbb{E}} \e_F \hat{F}_n(x) = F(x) \>.$

假设我们对均值感兴趣。然后，经验测度的无偏性扩展到经验测度的线性函数的无偏性。因此， $\mu = T(F)$

Ë_{F} Ť （ {\hat{F}}_{ñ} ） = Ë_{F} {\bar{X}}_{ñ} = μ = Ť （ F ） 。

$\e_F T(\hat{F}_n) = \e_F \bar{X}_n = \mu = T(F) \> .$

因此，平均是正确的，并且由于迅速接近，因此（启发式），迅速接近。 $T(\hat{F}_n)$ $\hat{F_n}$ $F$ $T(\hat{F}_n)$ $T(F)$

要构建置信区间（本质上是引导程序的全部内容），我们可以使用中心极限定理，经验分位数的一致性和delta方法作为从简单线性函数转换为感兴趣的更复杂统计量的工具。

好的参考是

B. Efron，Bootstrap方法：再看一下折刀，Ann。统计 ，卷 7号 1，1–26。
B. Efron和R. Tibshirani，《行李箱入门》，查普曼·霍尔，1994年。
GA Young和RL Smith，《统计推断要点》，剑桥大学出版社，2005年，第11章。
AW van der Vaart，渐进统计，剑桥大学出版社，1998年，第23章。
P. Bickel和D. Freedman，关于自举的一些渐近理论。安统计 ，卷 9号 6（1981），1196–1217年。

— 红衣主教
source

非常好，@ cardinal（+1）。

解释清楚，给出了参考，很好的答案。

— vesszabo

12

这是考虑问题的另一种方法：

从了解真实分布的理论开始，我们可以通过模拟真实分布来发现样本统计信息的属性。Gosset就是这样，通过从已知法线采样并计算统计量来开发t分布和t检验。这实际上是参数引导程序的一种形式。请注意，我们正在模拟以发现统计信息的行为（有时与参数有关）。

现在，如果我们不知道人口分布，我们将对经验分布中的分布进行估计，然后从中进行抽样。通过从经验分布（已知）采样，我们可以看到引导程序样本和经验分布（引导程序样本的总体）之间的关系。现在我们推断，从引导样本到经验分布的关系与从样本到未知总体的关系相同。当然，这种关系如何转换将取决于样本在总体中的代表性。

请记住，我们不是使用引导样本的平均值来估计总体平均值，而是使用样本均值（或任何感兴趣的统计量）。但是我们使用引导程序样本来估计采样过程的属性（扩展，偏差）。而且，使用来自已知总体（我们希望代表感兴趣的总体）的采样来学习采样的效果是有意义的，而且循环性要差得多。

— 格雷格·雪诺
source

8

自举的主要技巧（和刺痛）在于它是一种渐近理论：如果您有一个无限的样本作为开始，那么经验分布将非常接近实际分布，因此差异可以忽略不计。

不幸的是，引导程序通常用于小样本量。普遍的感觉是，引导程序已经显示出可以在某些非渐近的情况下工作，但是请务必小心。如果样本大小太小，那么实际上您是在有条件的情况下将样本作为真实分布的“良好表示”，这很容易导致圈子中的推理：-)

— 尼克·萨贝（Nick Sabbe）
source

这就是我的想法，但是这种推理有一些循环。我不是统计学家，但我的感觉是，当您的估计量迅速收敛时，统计推断就会起作用，因此，即使您的样本未收敛于分布，您的推断也是合理的。在这种情况下，我们将依赖整个经验分布来收敛到实际分布。也许有定理说某些引导估计很快收敛，但是我通常会看到在没有吸引力的情况下应用引导程序。

— user4733 2011年

4

显而易见的循环推理是为什么它被称为引导程序。感觉就像人们试图用自己的靴子提起自己。后来，埃夫隆证明了它确实有效。

— 格雷格·斯诺

如果样本量真的很小，那么您要使用什么方法都需要很多信任...

— kjetil b halvorsen

5

我不是从“渐近地经验分布将接近实际分布”（当然，这是非常正确的）的角度来争论，而是从“长期角度”来争论。换句话说，在任何特定的情况下，通过自举导出的经验分布将被关闭（有时移得太远这种方式，有时移动太远这种方式，有时也歪斜这种方式，有时也歪斜这样），但平均它将非常近似于实际分布。同样，在任何特定情况下，从引导分布得出的不确定性估计都将不正确，但平均而言，它们的估计值将是正确的。

— 沃尔夫冈
source