偏差的自举估计何时有效？

31

人们通常认为自举可以在估计器中提供偏差的估计。

如果是一些统计的估计，以及是自举复制品（与），则偏压的自举估计是似乎非常简单而强大，令人不安。 $\hat t$ $\tilde t_i$ $i\in\{1,\cdots,N\}$

{b i a s}_{t} \approx \frac{1}{N} \sum_{i} {\tilde{t}}_{i} - \hat{t}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$

在没有对统计信息进行无偏估计的情况下，我无法理解如何做到这一点。例如，如果我的估计器简单地返回一个独立于观察值的常数，则上述偏差估计显然是无效的。

尽管此示例是病态的，但我看不到有关估计量和分布的合理假设，这些假设将保证自举估计是合理的。

我尝试阅读正式的参考书，但我既不是统计学家，也不是数学家，因此没有任何澄清。

谁能提供何时可以预期该估计有效的高级摘要？如果您知道关于该主题的好的参考文献，那也很好。

编辑：

估计器的平滑度通常被引用为引导程序正常工作的要求。难道还需要某种形式的局部可逆性转换吗？常量映射显然不满足于此。

bootstrap bias

— 自举
source

2

常数估算器是该常数的无偏估算器，因此偏差的自举估算器很自然为零。

— 西安

4

您描述的问题是解释问题，而不是有效性问题。您的常数估算器的自举偏差估算值无效，实际上是完美的。

偏差的自举估计在估计器和参数其中是一些未知分布， $\hat\theta = s(x)$ $\theta = t(F),$ $F$ $x$ 是的样本。如果您手头有一些人口，则原则上可以计算出函数。有些时候，我们采取插件的估计使用经验分布中的地方 $F$ $t(F)$ $s(x) = t(\hat F),$ $t(F)$ $\hat F$ $F$ 。大概就是您在上面描述的内容。在所有情况下偏压的自举估计是其中是从自举样本。

{b i a s}_{\hat{F}} = E_{\hat{F}} [s (x^{*})] - t (\hat{F}),

$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$

x^{*}

$x^*$

x

$x$

常数是一个完美的插件估计相同的不变： $c$ 人口和样本，经验分布，近似于。如果您可以评估，您将得到。当你计算插件估计你也可以得到。如您所料，没有偏见。 $\sim F$ $\sim \hat F$ $F$ $t(F) = c$ $c$ $t(\hat F) = c$ $c$

其中存在插件估计的偏置的公知的情况下在估计方差，因此贝塞尔校正。下面我演示一下。引导偏差的估计值还不错： $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

我们可以取作为总体平均值，而，即在大多数情况下应该存在明显偏差的情况： $t(F)$ $s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

同样，引导估计也不算太差。

— 本纳尔
source

我添加了这个答案，因为其他答案似乎理所当然地认为，当

为常数时，偏差的自举估计为0是一个问题。我不相信。

t

$t$

— 2017年

我喜欢您的回答和演示，但我认为您的定义不正确：“偏差的引导估计是样本函数与总体中评估的相同函数之间的偏差估计。” 尽管您编写的内容是明确定义的，但是如果这是定义，则将无法使用引导程序来估计偏差，例如样本方差作为总体方差的估计器。

— DavidR

@DavidR您说得对，谢谢您的评论。我已经更新了答案。

— einar

我非常喜欢这篇文章！我唯一的问题是关于“偏差的引导估计”。我认为您写的是估计量的实际偏差（但对于经验分布而不是真实分布），因为您对自举样本有期望。我认为自举估算器将是B个自举样本的有限总和？

— DavidR

1

@DavidR我很高兴你愿意！我报告在技术上是偏见的引导估计（因为你用

代替

和引导期望

代替其预期超过

）。但是，在大多数实际应用

是棘手的，我们通过蒙特卡洛像你说的接近它。

t (\hat{F})

$t(\hat F)$

θ

$\theta$

s ()

$s()$

F

$F$

E_{\hat{F}} [s (x^{*})]

$E_{\hat F}[s(x^*)]$

— einar

3

您犯了一个错误，也许这就是它令人困惑的原因。你说：

如果我的估算器仅返回一个独立于观测值的常数，则上述偏差估计显然是无效的

Bootstrap与您的方法有多少偏差无关，而是与给定数据有偏差时通过某个函数获得的结果多少有关。

如果您选择适当的统计方法来分析数据，并且满足该方法的所有假设，并且您正确地进行了数学计算，则您的统计方法应为您提供“最好的”估计，可以使用您的数据获得估计。

引导程序的想法是从数据中进行抽样的方式与从总体中抽样案件的方式相同-因此，这是抽样的一种复制。这样，您就可以获取价值的近似分布（使用Efrons词），从而评估估计值的偏差。

但是，我认为您的示例具有误导性，因此它不是讨论引导程序的最佳示例。由于双方都有误会，所以让我更新我的答案并以更正式的方式写出来，以说明我的观点。

偏压为真值的存在估计被定义为： $\hat{\theta}$ $\theta$

偏压 （ {\hat{θ}}_{ñ} ） = Ë_{θ} （ {\hat{θ}}_{ñ} ） - θ

$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$

哪里：

{\hat{θ}}_{ñ} = G （ X_{1个} ， X_{2} ， 。 。 。 ， X_{ñ} ）

$\hat{\theta}_n = g(x_1,x_2,...,x_n)$

其中是估计量。 $g(\cdot)$

正如拉里·瓦瑟曼（Larry Wasserman）在他的《所有统计资料》一书中指出的那样：

对估计量的合理要求是，随着我们收集越来越多的数据，它应该收敛到真实的参数值。通过以下定义可以量化此要求：
6.7定义。甲点推定的参数是一致的，如果。 $\hat{\theta}_n$ $\theta$ $\hat{\theta}_n \overset{P}{\rightarrow} \theta$

常数估计，为的常数函数：并没有因为它是独立的数据的和不断增长的数目的观察不会使其接近真实值满足这种要求（除非由纯运气或具有非常固体关于的先验假设是）。 $x$ $g(X) = \lambda$ $\theta$ $\lambda$ $\lambda = \theta$

常数估计不符合基本要求是合理的估计，因此，它是无法估计它的偏见，因为不接近即使。使用引导程序和任何其他方法都不可能做到这一点，因此引导程序不是问题。 $\hat{\theta}_n$ $\theta$ $n \rightarrow \infty$

— 蒂姆
source

5

恐怕这个答案似乎注定会引起混乱。根据大多数定义，常量估算器是一种估算器-在某些情况下，它甚至是可以接受的。您的问题将抽样偏差与估计偏差混淆了，这必将使几乎所有读者困惑。您关于“最佳可能估计”的段落很好，但是它引出了如何衡量“最佳”的基本问题。偏差只是其中的一个组成部分（如果有的话）。

— ub

虽然我没有足够的资格回答OP，但恐怕Whuber还是有道理。另外，称总体为估计量是否有效？与最后一句话有关，我认为boostrap可以提供正在分析的估计量偏差的估计，而不是抽样方法的估计。

— 莫肯2014年

我知道引导程序无法检测到系统错误，但至少在一定程度上应该可以检测统计偏差。我想您的意思是区分这两者之间的微妙之处，但是我仍然不清楚。您似乎在谈论我从未听说过的偏见概念-不是估计量，而是数据。这种偏见概念的正式定义是什么？

— 自举

3

绝对有一个误解：蒂姆，您使用的不是“估计器”或“偏见”，而对于这种情况下建立的上下文而言，这是常规的，而Bootstrapped是。此外，您不正确地认为引导程序可以检测系统错误，并且在估计的上下文中将其等同于“偏差”是错误的。答案中仍然存在各种错误。例如，常数估计的偏置（等于，比方说，以

的参数的）

是由定义

。请查阅参考资料。

λ

$\lambda$

θ

$\theta$

λ - θ

$\lambda-\theta$

— whuber

8

有趣的是您提出了编辑一致性的问题。你可能会觉得有趣-而且甚至有点发人深省-思忖估计

，等于

提供

否则是最大似然估计。尽管这是一致的，但是它受到OP指出的问题的困扰。由于此线程关注的是表征条件，这些条件将确保“引导估计是合理的”，因此从此示例看来，一致性不在这些条件之中，甚至也不是一致性。相关概念。

\hat{θ}

$\hat\theta$

0

$0$

n < 10^{100}

$n\lt 10^{100}$

— ub

3

我认为您的公式是错误的。最后应该有一个明星，而不是一顶帽子： $t$

{b 一世 一种 s}_{Ť} \approx \frac{1个}{ñ} \sum_{一世} {\overset{〜}{Ť}}_{一世} - Ť^{*}

$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$

您想使用根据经验分布评估的实际统计量（这很容易，因为原始样本是有限集），而不是估计值。在某些情况下，它们可能是相同的（例如，经验均值与样本均值相同），但通常不会如此。您给出了一种情况，它们是不同的，但是一个较少病理的例子是方差的通常无偏估计量，这与应用于有限分布时的总体方差不同。

如果统计量对经验分布没有意义（例如，假设其为连续分布），则不应使用普通自举。您可以用内核密度估计值（平滑引导程序）替换经验分布，或者如果您知道原始分布位于某个特定族中，则可以用该族的最大可能估计值替换经验分布（参数引导程序）。 $t$

TL / DR：引导程序方法不是神奇的。为了获得偏差的无偏估计，您需要能够精确地在有限分布上计算目标参数。

— 埃文·赖特
source

1

我不确定您的表示法的含义。根据Pete Hall（加州大学戴维斯分校）的这些讲义，Cosma Shalizi（CMU）的讲义以及Efron和Tibshirani的书的这一页似乎表明我没有错，只是不完全笼统（即，我我在这里使用插入估算器，但这不是必需的）。

— 自举

t^{*} = \hat{t}

$t^* = \hat t$

θ (F_{1})

$\theta(F_1)$

t^{*}

$t^*$

\hat{θ}

$\hat \theta$

\hat{t}

$\hat t$

t

$t$

t^{*}

$t^*$

— 埃文·赖特（Evan Wright）

t^{*} = \hat{t}

$t^*=\hat t$

1

t^{*}

$t^*$

N \to \infty

$N \to \infty$

t^{*}

$t^*$

t^{*}

$t^*$

{\tilde{t}}_{i}

$\tilde t_i$

t^{*}

$t^*$

0

我发现根据它们所操作的发行版的功能来考虑引导程序很有用-在此答案的另一个示例中，我举了一个例子。

您给出的估算值就是估算值。没有人说它不会遭受统计估计可能存在的问题。例如，它将为您提供样本平均值偏差的非零估计，而众所周知，样本均值首先是无偏差的。这种偏差估计器的一个问题是，当将引导程序实现为蒙特卡洛时，它会遭受样本变异性的困扰，而不是对所有可能的子样本进行完整的枚举（无论如何，没有人会在实践中使用该理论上的引导程序）。

$B$ $B$

— 斯塔克
source

7

我认为Bootstrapped的原始问题与蒙特卡洛变异性的问题正交。即使我们将自举复制的数量设为无穷大，问题中的公式也会为常数估算器的偏差提供零估算，而对于通常的无偏差方差的估算也将提供非零估算。

— 埃文·赖特