自举如何很好地估计估计量的采样分布？

最近研究了引导程序后，我想到了一个概念性问题，但仍然使我感到困惑：

您有一个人口，并且想知道一个人口属性，即，在这里我用代表人口。例如，这个可能是人口平均值。通常，您无法从总体中获取所有数据。因此，您从总体中得出了大小为的样本为了简单起见，假设您有iid示例。然后，您获得估算器。您想使用来推断，因此您想知道的可变性 。P θ X Ñ θ = 克（X ）θ θ $\theta=g(P)$$P$$\theta$$X$$N$$\hat{\theta}=g(X)$$\hat{\theta}$$\theta$$\hat{\theta}$

首先，存在的真实采样分布。从概念上讲，您可以从总体中抽取许多样本（每个样本的大小均为）。每次您都有因为每次您都有不同的样本。然后最后，您将能够恢复的真实分布。好的，至少这是估算分布的概念基准。让我重申一下：最终目标是使用各种方法来估计或近似的真实分布。 Ñ θ =克（X$\hat{\theta}$$N$$\hat{\theta}=g(X)$ $\hat{\theta}$$\hat{\theta}$$\hat{\theta}$

现在，问题来了。通常，只有一个样本包含数据点。然后，您可以多次从该样本中重新采样，然后得出的引导分布。我的问题是：此引导分布与的真实采样分布有多接近？有没有量化的方法？Ñ $X$$N$$\hat{\theta}$$\hat{\theta}$

在信息论中，量化一个分布与另一个分布之间的“接近”程度的典型方法是使用KL散度

让我们尝试使用高度偏斜的长尾数据集来说明它-飞机到达休斯敦机场的延迟（来自hflights软件包）。令为均值估计量。首先，我们发现的抽样分布，然后引导分布 θ $\hat \theta$$\hat \theta$$\hat \theta$

这是数据集：

真正的平均值是7.09分钟。

首先，我们进行一定数量的采样以获取的采样分布，然后获取一个采样并从中获取许多引导采样。$\hat \theta$

例如，让我们看一下样本大小为100和5000次重复的两个分布。我们从视觉上看到，这些分布相距甚远，KL散度为0.48。

但是，当我们将样本量增加到1000时，它们开始收敛（KL散度为0.11）

当样本数量为5000时，它们非常接近（KL散度为0.01）

当然，这取决于您获得的引导程序样本，但是我相信您可以看到，随着我们增加样本大小，KL散度会下降，因此引导程序分布按样本分布而言KL Divergence。可以肯定的是，您可以尝试进行多次引导，并取平均KL散度。 $\hat \theta$$\hat \theta$

这是该实验的R代码：https : //gist.github.com/alexeygrigorev/0b97794aea78eee9d794

引导程序基于经验CDF与真实CDF的收敛，即 对于每个收敛（随着趋于无穷大）到。因此的自举分布的 收敛是由这种收敛驱动的，该收敛以每个的速率，由于即使此速率和限制分布不会自动转移到ñ ˚F （X ）X θ（X 1，... ，X Ñ）= 克（˚F Ñ）

$$\hat{F}_n(x) = \frac{1}{n}\sum_{i=1}^n\mathbb{I}_{X_i\le x}\qquad X_i\stackrel{\text{iid}}{\sim}F(x)$$ $n$$F(x)$$x$$\hat{\theta}(X_1,\ldots,X_n)=g(\hat{F}_n)$ X$\sqrt{n}$ $x$克（ ˚F Ñ）克（ ˚F Ñ $$\sqrt{n}\{\hat{F}_n(x)-F(x)\}\stackrel{\text{dist}}{\longrightarrow}\mathsf{N}(0,F(x)[1-F(x)])$$ $g(\hat{F}_n)$。在实践中，为了评估近似值的变异性，您可以通过双引导程序（即通过引导引导程序评估来生成分布的引导程序评估。$g(\hat{F}_n)$

作为更新，这里是在类的图示我使用： 其中LHS真实CDF比较与经验CDF为的观测和RHS曲线的LHS的复制品，对250个不同的样品，以测量cdf近似值的变异性。在示例中，我了解了事实，因此可以根据事实进行模拟，以评估变异性。在现实情况下，我不知道，因此必须从才能生成类似的图形。˚F Ñ Ñ = 100 250 ˚F ˚F$F$$\hat{F}_n$$n=100$$250$$F$$\hat{F}_n$

进一步更新：这是从经验CDF开始时的电子管图片：