自举样本的均值与样本的统计量

假设我有一个样本和该样本的自举样本，用于统计（例如均值）。众所周知，该引导样本估算了统计量估计量的抽样分布。 $\chi$

现在，此引导样本的平均值是否比原始样本的统计更好地估计了人口统计？在什么情况下会是这种情况？

estimation bootstrap

— 阿梅里奥·巴斯克斯·雷纳（Amelio Vazquez-Reina）
source

引导样本的平均值是平均样品的，你不需要在这种情况下，引导样品。

— 西安

谢谢@西安，我不确定我是否遵循。自举样本的平均值在数值上可能与样本的平均值不同。您是否要说两者在理论上仍然相等？你能在两端确认吗？

— Amelio Vazquez-Reina 2015年

让我们弄清楚术语的含义：“引导程序样本”可以引用数据中的特定替换样本，也可以引用一个（多变量）随机变量，此类样本将被视为一种实现。您的理解是，实现的均值可能不同于数据的均值，但是@ Xi'an提供了更相关的观察结果，即随机变量的均值（按定义是总体均值的自举估计）必须一致与数据的平均值。

— ub

然后，您的问题几乎与stats.stackexchange.com/questions/126633/…相同；唯一的区别是引导程序示例实现可以重叠，但是答案中给出的分析很容易转移到引导程序情况，结果相同。

— whuber

我看到了@whuber的连接，尽管在引导程序中有一个“替换子集”，并且实现可能会重叠，如您所说。我可以想象一下，用于在引导程序中获取重采样的分布（例如伪随机性）也会影响引导程序采样的估计偏差。也许答案是，对于所有实际问题，差异都是可以忽略的。这就是问题的根源：条件，微妙之处以及实践上的差异。

— Amelio Vazquez-Reina 2015年

Answers:

让我们概括一下，以便专注于问题的症结。我将阐明最微小的细节，以便毫不怀疑。分析仅需满足以下条件：

一组数字的算术平均值定义为 $z_1, \ldots, z_m$

$\frac{1}{m} (z_{1} + \dots + z_{m}) .$ $\frac{1}{m}\left(z_1 + \cdots + z_m\right).$
期望是线性算子。 也就是说，当是随机变量和是数字，那么线性组合的期望是的期望的线性组合， $Z_i, i=1,\ldots,m$ $\alpha_i$

$E (α_{1} Z_{1} + \dots + α_{m} Z_{m}) = α_{1} E (Z_{1}) + \dots + α_{m} E (Z_{m}) .$ $\mathbb{E}\left(\alpha_1 Z_1 + \cdots + \alpha_m Z_m\right) = \alpha_1 \mathbb{E}(Z_1) + \cdots + \alpha_m\mathbb{E}(Z_m).$

设为从数据集获得的样本，方法是从均匀取元素并替换。让是算术平均值。这是一个随机变量。然后 $B$ $(B_1, \ldots, B_k)$ $x = (x_1, \ldots, x_n)$ $k$ $x$ $m(B)$ $B$

E (m (B)) = E (\frac{1}{k} (B_{1} + \dots + B_{k})) = \frac{1}{k} (E (B_{1}) + \dots + E (B_{k}))

$\mathbb{E}(m(B)) = \mathbb{E}\left(\frac{1}{k}\left(B_1+\cdots+B_k\right)\right) = \frac{1}{k}\left(\mathbb{E}(B_1) + \cdots + \mathbb{E}(B_k)\right)$

遵循期望的线性关系。由于的元素都是以相同的方式获得的，因此它们都有相同的期望，说： $B$ $b$

E (B_{1}) = \dots = E (B_{k}) = b .

$\mathbb{E}(B_1) = \cdots = \mathbb{E}(B_k) = b.$

这样简化了

E (m (B)) = \frac{1}{k} (b + b + \dots + b) = \frac{1}{k} (k b) = b .

$\mathbb{E}(m(B)) = \frac{1}{k}\left(b + b + \cdots + b\right) = \frac{1}{k}\left(k b\right) = b.$

根据定义，期望是值的概率加权总和。由于假设每个值都有相等的机会被选择为， $X$ $1/n$

E (m (B)) = b = E (B_{1}) = \frac{1}{n} x_{1} + \dots + \frac{1}{n} x_{n} = \frac{1}{n} (x_{1} + \dots + x_{n}) = \bar{x},

$\mathbb{E}(m(B)) = b = \mathbb{E}(B_1) = \frac{1}{n}x_1 + \cdots + \frac{1}{n}x_n = \frac{1}{n}\left(x_1 + \cdots + x_n\right) = \bar x,$

数据的算术平均值。

为了回答这个问题，如果一个使用数据意味着来估计总体均值，然后引导平均值（这是这种情况）也等于，因此是相同的，随着人口平均的估计。 $\bar x$ $k=n$ $\bar x$

对于不是数据线性函数的统计信息，不一定需要相同的结果。但是，仅将引导程序平均值替换为数据上的统计值是错误的：这不是引导程序的工作原理。相反，通过将自举平均值与数据统计量进行比较，我们可以获得有关统计量偏差的信息。这可用于调整原始统计信息以消除偏差。这样，经过偏差校正的估计就成为原始统计量和自举平均值的代数组合。有关更多信息，请查找“ BCa”（经过偏置校正和加速的引导程序）和“ ABC”。维基百科提供了一些参考。

— ub
source

您的意思是引导平均值的期望等于数据平均值，不是吗？自举平均值本身不是由（原始）数据样本确定的。

— capybaralet

@ user2429920引导程序平均值是由样本确定的统计信息。从这个意义上讲，它与样本均值相同。从采样分布的意义上考虑了它的期望。我怀疑您可能会使用“期望”，这与通过重复替换替换的二次抽样来计算自举平均值的过程不同。

— ub

我认为最后一段是对这个问题的实际答案，因为它是一般性的，而不仅关注均值统计。我对OP也有同样的疑问，但我不知道BCa的存在。尽管此答案中的演示对我没有多大帮助（我没有使用均值作为统计数据），但最后一段非常清楚问题的症结所在。我相信西安的回答也可以解决使用均值统计的情况，因此也是同样的问题。谢谢！

— 加百利

@Gabriel好点。我检查了记录：在编辑之前，该问题最初仅询问均值。这就是答案似乎如此集中于该统计数据的原因。

— ub

{\hat{F}}_{n} (x) = \frac{1}{n} \sum_{i = 1}^{n} I_{X_{i} \leq x} X_{i} \overset{iid}{\sim} F (x),

$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)\,,$ the mean of the bootstrap distribution is

E_{{\hat{F}}_{n}} [X] = \frac{1}{n} \sum_{i = 1}^{n} X_{i} = {\bar{X}}_{n}

$\mathbb{E}_{\hat{F}_n}[X]=\frac{1}{n}\sum_{i=1}^n X_i=\bar{X}_ n$ When you (if you have to) implement a simulation version of this expectation, i.e., an average of random draws, there is Monte Carlo variability in this approximation of

E_{{\hat{F}}_{n}} [X]

$\mathbb{E}_{\hat{F}_n}[X]$ , but its mean (the expactation of the empirical average) and its limit when the number of bootstrap simulations grows to infinity are both exactly

{\bar{X}}_{n}

$\bar{X}_ n$ .

— Xi'an
source

+1 This is the answer I originally wanted to write, but feared it might be too opaque for some readers. I nevertheless am glad to see it so elegantly presented. I'm not sure what you mean in your last sentence, though, where you appear to differentiate the "expectation" of the simulated approximation to the mean from its "limit": since the expectation is constant (it does not vary with simulation size), there really isn't any limit to take.

— whuber

@whuber: Thank you for the comment and sorry for writing my terse answer exactly at the same time as yours! Your explanations are certainly more readable by novices in bootstrap. I corrected the final sentence, whose limiting part is the law of large numbers.

— Xi'an

Your use of "mean" in that last sentence is quite ambiguous! I figured it out from your LLN clue. For any finite simulation of the bootstrap distribution, each sample in the simulation produces its own mean (there's one meaning of "mean"). The average of all those samples in a given simulation produces a simulation mean (there's another meaning). The simulation mean converges to a constant as the simulation size grows large, which is the bootstrap mean (a third meaning), and this equals the sample mean (the fourth meaning). (And this estimates the population mean--a fifth meaning!)

— whuber