“天真启动”失败的例子有哪些？

假设我有一组来自未知或复杂分布的样本数据，并且我想对数据的统计量进行一些推断。我的默认倾向是只生成一堆带有替换的引导程序样本，并在每个引导程序样本上计算我的统计量，以为创建一个估计分布。 $T$ $T$ $T$

有哪些不好的主意示例？

例如，如果天真的执行此引导程序将失败，则是一种情况，如果我尝试对时间序列数据使用引导程序（例如，测试我是否具有显着的自相关）。我认为上述天真的引导程序（通过对原始序列进行替换并进行采样来生成第n个引导程序样本系列的第个数据点）是不明智的，因为它忽略了我的原始时间序列中的结构，因此我们获得更先进的引导程序技术，例如块引导程序。 $i$

换句话说，除了“替换抽样”之外，引导程序还有什么？

hypothesis-testing confidence-interval bootstrap

— 菜丁
source

如果要对iid数据的平均值进行推断，则引导程序是一个很好的工具。其他所有问题都是可疑的，并且需要个案证明弱融合。

— StasK 2015年

Answers:

如果感兴趣的数量（通常是分布的函数）相当平稳，并且您的数据是独立的，那么您通常处于相当安全的范围内。当然，在其他情况下，引导程序也将起作用。

引导程序“失败”意味着什么

从广义上讲，引导程序的目的是为关注的统计数据构造一个近似的采样分布。这与参数的实际估计无关。因此，如果感兴趣的统计信息（在某些缩放和集中下）是和，则我们希望我们的引导分布收敛到的分布。如果我们没有这个，那么我们就不能相信所做的推断。 $\newcommand{\Xhat}{\hat{X}_n}\Xhat$ $\Xhat \to X_\infty$ $X_\infty$

即使在iid框架中，引导程序何时也可能失败的典型示例是当尝试估算极端顺序统计信息的采样分布时。下面是一个简短的讨论。

来自分布的随机样本的最大阶统计量 $\;\mathcal{U}[0,\theta]$

令是上的iid一致随机变量序列。令。的分布为（请注意，通过一个非常简单的参数，实际上还显示了的概率，甚至几乎可以肯定的是，如果所有随机变量都在同一空间上定义。） $X_1, X_2, \ldots$ $[0,\theta]$ $\newcommand{\Xmax}{X_{(n)}} \Xmax = \max_{1\leq k \leq n} X_k$ $\Xmax$

P (X_{(n)} \leq x) = (x / θ)^{n} .

$\renewcommand{\Pr}{\mathbb{P}}\Pr(\Xmax \leq x) = (x/\theta)^n \>.$

X_{(n)} \to θ

$\Xmax \to \theta$

基本计算得出换句话说，在分布中收敛为均值为的指数随机变量。

P (n (θ - X_{(n)}) \leq x) = 1 - (1 - \frac{x}{θ n})^{n} \to 1 - e^{- x / θ},

$\Pr( n(\theta - \Xmax) \leq x ) = 1 - \Big(1 - \frac{x}{\theta n}\Big)^n \to 1 - e^{-x/\theta} \>,$

n (θ - X_{(n)})

$n(\theta - \Xmax)$

θ

$\theta$

现在，通过对进行重采样并替换以获得并使用分布，我们对的分布形成一个（自然的）引导估计。的有条件的。 $n(\theta - \Xmax)$ $X_1, \ldots, X_n$ $X_1^\star,\ldots,X_n^\star$ $n(\Xmax - \Xmax^\star)$ $X_1,\ldots,X_n$

但是，观察到的概率为，因此尽管存在渐近分布，但自举分布的点质量仍为零实际极限分布是连续的事实。 $\Xmax^\star = \Xmax$ $1 - (1-1/n)^n \to 1 - e^{-1}$

更明确地说，尽管真正的极限分布与均值呈指数关系，但极限自举分布将点质量放置在大小为零处，而与的实际值无关。通过使足够大，我们可以使任意限制间隔的真实极限分布的概率任意较小，但是引导程序（仍然！）将报告该间隔至少有0.632的概率！由此可见，在这种情况下，引导程序可能会表现得很差。 $\theta$ $1−e^{-1} \approx 0.632$ $\theta$ $\theta$ $[0,\varepsilon)$

总之，在这种情况下，引导程序会失败（可能）。在参数空间边缘处理参数时，事情往往会出错。

来自正常随机变量样本的示例

在异常简单的情况下，还有其他类似的引导程序失败的示例。

考虑来自的样本其中的参数空间限制为。在这种情况下，MLE是。同样，我们使用引导估计。同样，可以证明（以观察到的样本为条件）不会收敛到与。 $X_1, X_2, \ldots$ $\mathcal{N}(\mu,1)$ $\mu$ $[0,\infty)$ $\newcommand{\Xbar}{\bar{X}}\Xhat = \max(\bar{X},0)$ $\Xhat^\star = \max(\Xbar^\star, 0)$ $\sqrt{n}(\Xhat^\star - \Xhat)$ $\sqrt{n}(\Xhat - \mu)$

可交换数组

最具戏剧性的例子之一可能是可交换数组。假设为随机变量数组，这样，对于每一对置换矩阵和，数组和具有相同的联合分布。也就是说，对行和列进行置换可以使分布不变。（您可以考虑一个双向随机效应模型，每个单元一个观察值作为示例，尽管该模型更为通用。） $\newcommand{\bm}[1]{\mathbf{#1}}\bm{Y} = (Y_{ij})$ $\bm{P}$ $\bm{Q}$ $\bm{Y}$ $\bm{P} \bm{Y} \bm{Q}$ $\bm{Y}$

假设我们希望估计均值的置信区间（由于上述可交换性假设，所有均值的均值单元格必须相同）。 $\mu = \mathbb{E}(Y_{ij}) = \mathbb{E}(Y_{11})$

McCullagh（2000）考虑了引导这种阵列的两种不同的自然（即幼稚）方式。他们都没有得到样本均值正确的渐近方差。他还考虑了单向可交换数组和线性回归的一些示例。

参考文献

不幸的是，该主题是不平凡的，因此这些都不是特别容易阅读的内容。

P. Bickel和D. Freedman，关于自举的一些渐近理论。安统计 ，卷 9号 6（1981），1196–1217年。

DWK Andrews，当参数位于参数空间边界上时，引导程序不一致，Econometrica，vol。68号 2（2000），399–405。

P. McCullagh，“ 重采样和可交换数组”，Bernoulli，第一卷。6号 2（2000），285-301。

EL Lehmann和JP Romano，测试统计假设，第3版。编，Springer（2005）。[第15章：一般的大样本方法]

— 红衣主教
source

鉴于指数分布在零处具有相似的“点质量”，所以阶跃统计自举的行为对我来说似乎是合理的-指数分布的模式为0，因此在概率分布处概率应为非零似乎是合理的最有可能的价值！引导程序可能更像是几何分布，它是指数的离散模拟。在这里，我不会将其视为引导程序的“失败”，因为的估计数量始终位于适当的区间

θ

$\theta$

θ \geq X_{(n)}

$\theta\geq X_{(n)}$

— 概率

@cardinal-渐近分布不是适当的基准-除非您有无限的样本。引导分布应与设计为近似的有限样本分布进行比较。您想要显示的是，随着引导程序迭代次数达到无穷大，引导程序分布会收敛到有限采样分布。让是一个近似的解决方案，而不是一个精确的解决方案。

n \to \infty

$n\to\infty$

— 概率

@cardinal +1，我已经提过这个问题，但是我只想感谢一个很好的答案，示例和文章链接。

— mpiktas 2011年

@probabilityislogic，当然，在渐近理论的一般应用中取决于收敛速度，如果收敛速度慢，则不适用。但是您必须证明该速度很慢，因为我怀疑例如以100个样本的均匀分布，您将遇到@cardinal概述的问题。

— mpiktas 2011年

@probabilityislogic，起初，我只看到了您最近两个评论中的后一个。要解决前者，您可以看到上面部分的前两个句子，标题为“引导程序'失败'意味着什么”，在此明确地指出了这一点。引导程序与估计参数无关。我们假设我们有一个估算所需参数的好方法（在这种情况下，可以正常工作）。引导程序是关于了解参数分布的一些知识，以便我们进行推断。在这里，引导程序分配错误（非常！）。

X_{(n)}

$X_{(n)}$

— 主教

本书的下一章（第9章）专门介绍“自举失败以及对失败的补救措施时”：

切尔尼克（MR Chernick）先生，《引导方法：从业人员和研究人员指南》，第二版。新泽西州霍博肯：Wiley-Interscience，2008年。

主题是：

样本数量太小
具有无限矩的分布
估算极值
调查抽样
M依赖的数据序列
不稳定的自回归过程
远程依赖

— 萨德格
source

您是否在此主题中看到对此答案的评论？顺便说一句，该评论链接到Chernick的书的亚马逊页面；读者的评论很有启发性。

— ub

@whuber好吧，我没有注意到该评论。我应该删除答案吗？

— 萨德格2013年

由于您的答案比注释中的参考文献更详细，因此它可能具有价值：但是与SE政策和目标保持一致，很高兴看到它得到了放大，并附有解释为什么建议您推荐这本书，或者甚至更好-在其中包含信息摘要。否则，它添加的内容很少，应该删除或将其转换为对该问题的注释。

— ub

幼稚的引导程序取决于样本量是否很大，因此数据的经验CDF很好地近似于“真实” CDF。这样可以确保从经验CDF进行采样非常类似于从“真实” CDF进行采样。极端的情况是，您仅采样了一个数据点-引导在这里什么都没有实现。随着这种退化情况的发生，它将变得越来越无用。

天真地进行引导不一定会在时间序列分析中失败（尽管可能效率不高）-如果您对趋势分量使用连续时间的基函数（例如勒让德多项式）对序列进行建模，而对循环使用连续时间的正弦和余弦函数进行建模分量（加上正常的噪声误差项）。然后，您只需将碰巧采样到可能性函数中的任何时间输入即可。在这里进行引导没有灾难。

任何自相关或ARIMA模型都具有上述格式的表示形式-该模型更易于使用，我想易于理解和解释（易于理解正弦和余弦函数中的循环，难以理解ARIMA模型的系数）。例如，自相关函数是时间序列功率谱的傅立叶逆变换。

— 概率逻辑
source

@probabilityislogic -1，我不小心对答案作了较早的评论（怪怪Opera mini），所以我不得不对其进行编辑以使其能够被否决，我很抱歉使用这种策略。我之所以这样做，仅仅是因为我一开始不喜欢这个答案，而是因为我想准备自己的论点而没有投票，我将在下面的评论中给出。

— mpiktas 2011年

@probabilityislogic，对于时间序列过程，时间起着重要的作用，因此向量的分布与。如在朴素的引导程序中进行的重采样会破坏此结构，例如，如果您尝试拟合AR（1）模型，则在重采样后，您可能会得到试图将拟合为，即似乎不自然。如果您用Google搜索“引导时间序列” ，第二篇文章将举例说明时间序列方差的估计如何...

(X_{t}, X_{t + 1})

$(X_t,X_{t+1})$

(X_{t + 1}, X_{t})

$(X_{t+1},X_t)$

Y_{10}

$Y_{10}$

ρ Y_{15}

$\rho Y_{15}$

— mpiktas 2011年

@probabilityislogic，您是否有可能在AR（1）模型对朴素引导估计的答案中证明您的想法？我认为这是不可能的，因此不赞成投票的根本原因。我很高兴得到证明是错误的。

ρ

$\rho$

Y_{t} = ρ Y_{t - 1} + u_{t}

$Y_t=\rho Y_{t-1}+u_t$

— mpiktas 2011年

@probabilityislogic，以及？在这种情况下，的估算值是多少？很抱歉造成您的困扰，但是我真的看不到您如何证明这种情况下的朴素引导不会失败。

r h o

$rho$

— mpiktas 2011年

我的书在这里有一章介绍了引导程序何时失败，以及一章如何在时间序列中应用引导程序。对于时间序列，可以将自举应用于基于模型的方法中来自模型的残差。另一种非参数时域方法是块引导，其类型很多。

— Michael Chernick