非正态样本的样本方差的渐近分布

这是造成问题的更一般的处理这个问题。在得出样本方差的渐近分布之后，我们可以应用Delta方法得出标准差的相应分布。

设一个大小为的iid 非正态随机变量，均值和方差。将样本均值和样本方差设置为 $n$ $\{X_i\},\;\; i=1,...,n$ $\mu$ $\sigma^2$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{x})^{2}

$\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2$

我们知道

E (s^{2}) = σ^{2}, Var (s^{2}) = \frac{1}{n} (μ_{4} - \frac{n - 3}{n - 1} σ^{4})

$E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right)$

其中 $\mu_4 = E(X_i -\mu)^4$ ，我们将注意力集中在需要存在且有限的矩，确实存在且为有限矩的分布上。

它持有吗

\sqrt{n} (s^{2} - σ^{2}) \to_{d} N (0, μ_{4} - σ^{4}) ?

$\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?$

— 阿莱科斯·帕帕多普洛斯
source

h 我只是在另一个主题上发布，没有意识到您已经发布了此主题。将CLT应用于方差可以找到很多东西（例如此处的p3-4）。好答案顺便说一句。

— Glen_b-恢复莫妮卡2014年

谢谢。是的，我已经找到了。但是他们错过了@whuber指出的情况。他们甚至提供了带有一般

的Bernoulli示例

p

$p$ ！（第4页的基础）。我也将答案扩展到涵盖

p = 1 / 2

$p=1/2$ 情况。

— Alecos Papadopoulos 2014年

是的，我看到他们考虑了伯努利，但没有考虑这种特殊情况。我认为提到比例伯努利（相等概率二分案件）的区别是（在其他几个问题中）为什么在此处进行讨论（而不只是在评论中）很有价值的原因之一-至少是这样它是可搜索的。

— Glen_b-恢复莫妮卡2014年

Answers:

为了避免在考虑样本方差时出现的依赖性，我们写

(n - 1) s^{2} = \sum_{i = 1}^{n} ((X_{i} - μ) - (\bar{x} - μ))^{2}

$(n-1)s^2 = \sum_{i=1}^n\Big((X_i-\mu) -(\bar x-\mu)\Big)^2$

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - 2 \sum_{i = 1}^{n} ((X_{i} - μ) (\bar{x} - μ)) + \sum_{i = 1}^{n} (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2-2\sum_{i=1}^n\Big((X_i-\mu)(\bar x-\mu)\Big)+\sum_{i=1}^n\Big(\bar x-\mu\Big)^2$

稍加操作后，

= \sum_{i = 1}^{n} (X_{i} - μ)^{2} - n (\bar{x} - μ)^{2}

$=\sum_{i=1}^n\Big(X_i-\mu\Big)^2 - n\Big(\bar x-\mu\Big)^2$

因此

\sqrt{ñ} （ s^{2} - σ^{2} ） = \frac{\sqrt{ñ}}{ñ - 1个} \sum_{一世 = 1个}^{ñ} （ X_{一世} - μ ）^{2} - \sqrt{ñ} σ^{2} - \frac{\sqrt{ñ}}{ñ - 1个} ñ （ \bar{X} - μ ）^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \sigma^2- \frac {\sqrt n}{n-1}n\Big(\bar x-\mu\Big)^2$

操纵

\sqrt{ñ} （ s^{2} - σ^{2} ） = \frac{\sqrt{ñ}}{ñ - 1个} \sum_{一世 = 1个}^{ñ} （ X_{一世} - μ ）^{2} - \sqrt{ñ} \frac{ñ - 1个}{ñ - 1个} σ^{2} - \frac{ñ}{ñ - 1个} \sqrt{ñ} （ \bar{X} - μ ）^{2}

$\sqrt n(s^2 - \sigma^2) = \frac {\sqrt n}{n-1}\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{ñ \sqrt{ñ}}{ñ - 1个} \frac{1个}{ñ} \sum_{一世 = 1个}^{ñ} （ X_{一世} - μ ）^{2} - \sqrt{ñ} \frac{ñ - 1个}{ñ - 1个} σ^{2} - \frac{ñ}{ñ - 1个} \sqrt{ñ} （ \bar{X} - μ ）^{2}

$=\frac {n\sqrt n}{n-1}\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sqrt n \frac {n-1}{n-1}\sigma^2- \frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

= \frac{n}{n - 1} [\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})] + \frac{\sqrt{n}}{n - 1} σ^{2} - \frac{n}{n - 1} \sqrt{n} (\bar{x} - μ)^{2}

$=\frac {n}{n-1}\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right] + \frac {\sqrt n}{n-1}\sigma^2 -\frac {n}{n-1}\sqrt n\Big(\bar x-\mu\Big)^2$

项渐近地变为1。术语是确定的，随着变为零。 $n/(n-1)$ $\frac {\sqrt n}{n-1}\sigma^2$ $n \rightarrow \infty$

我们也有。第一个分量在分布上收敛为法线，第二个分量在概率上收敛为零。然后根据Slutsky定理，乘积收敛到零的概率， $\sqrt n\Big(\bar x-\mu\Big)^2 = \left[\sqrt n\Big(\bar x-\mu\Big)\right]\cdot \Big(\bar x-\mu\Big)$

\sqrt{n} (\bar{x} - μ)^{2} \overset{p}{\to} 0

$\sqrt n\Big(\bar x-\mu\Big)^2\xrightarrow{p} 0$

我们留下了这个词

[\sqrt{n} (\frac{1}{n} \sum_{i = 1}^{n} (X_{i} - μ)^{2} - σ^{2})]

$\left[\sqrt n\left(\frac 1n\sum_{i=1}^n\Big(X_i-\mu\Big)^2 -\sigma^2\right)\right]$

@whuber在对此答案的评论中提供了一个致命示例，对此我们，我们想确定不是常数。Whuber指出，如果为伯努利则该数量为常数。因此，排除发生这种情况的变量（也许其他二分法，而不仅仅是二进制？），剩下的就是 $(X_i-\mu)^2$ $X_i$ $(1/2)$ $0/1$

E (X_{i} - μ)^{2} = σ^{2}, Var [(X_{i} - μ)^{2}] = μ_{4} - σ^{4}

$\mathrm{E}\Big(X_i-\mu\Big)^2 = \sigma^2,\;\; \operatorname {Var}\left[\Big(X_i-\mu\Big)^2\right] = \mu_4 - \sigma^4$

因此，所研究的术语是古典中心极限定理的一个常见主题，并且

\sqrt{n} (s^{2} - σ^{2}) \overset{d}{\to} N (0, μ_{4} - σ^{4})

$\sqrt n(s^2 - \sigma^2) \xrightarrow{d} N\left(0,\mu_4 - \sigma^4\right)$

注意：以上结果当然也适用于正态分布的样本-但在最后一种情况下，我们还提供了有限样本卡方分布结果。

— 阿莱科斯·帕帕多普洛斯
source

+1没有理由检查一般的二分分布，因为它们都是伯努利的规模和位置版本：对伯努利的分析就足够了。我的模拟（样本大小为）证实了结果。

10^{1000}

$10^{1000}$

χ_{1}^{2}

$\chi^2_1$

— ub

@whuber感谢您的检查。您当然对Benroulli是所有人的母亲是正确的。

— Alecos Papadopoulos 2014年

您已经对问题有详细的答案，但是让我提供另一个答案。实际上，基于以下事实，可以提供更短的证明：

S^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S^2 = \frac{1}{n-1} \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

不依赖于。渐近地，是否将因子更改为也无关紧要，为方便起见，我将这样做。然后我们有 $E(X) = \xi$ $\frac{1}{n-1}$ $\frac{1}{n}$

\sqrt{n} (S^{2} - σ^{2}) = \sqrt{n} [\frac{1}{n} \sum_{i = 1}^{n} X_{i}^{2} - {\bar{X}}^{2} - σ^{2}]

$\sqrt{n} \left(S^2 - \sigma^2 \right) = \sqrt{n} \left[ \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2 - \sigma^2 \right]$

现在我们假设不失一般性，，我们注意到 $\xi = 0$

\sqrt{n} {\bar{X}}^{2} = \frac{1}{\sqrt{n}} {(\sqrt{n} \bar{X})}^{2}

$\sqrt{n} \bar{X}^2 = \frac{1}{\sqrt{n}} \left( \sqrt{n} \bar{X} \right)^2$

由于第二项受概率限制（由CLT和连续映射定理确定），所以它的概率极限为零，即为。现在，根据Slutzky定理和CLT得出渐近结果，因为 $O_p(1)$

\sqrt{n} [\frac{1}{n} \sum X_{i}^{2} - σ^{2}] \overset{D}{\to} N (0, τ^{2})

$\sqrt{n} \left[ \frac{1}{n} \sum X_i^2 - \sigma^2 \right] \xrightarrow{D} \mathcal{N} \left(0, \tau^2 \right)$

其中。这样就可以了。 $\tau^2 = Var \left\{ X^2\right\} = \mathbb{E} \left(X^4 \right) - \left( \mathbb{E} \left(X^2\right) \right)^2$

— 约翰·克
source

这当然更经济。但是，请重新考虑假设是多么无害。例如，它排除了伯努利（）样本的情况，并且正如我在回答结尾提到的那样，对于这种样本，这种渐近结果不成立。

E (X) = 0

$E(X) =0$

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

@AlecosPapadopoulos的确可以，但是数据始终可以居中，对吗？我的意思是，我们可以使用这些变量。对于伯努利案，有什么阻止我们这样做的？

\sum_{一世 = 1个}^{ñ} {（ X_{一世} - μ - （ \bar{X} - μ ） ）}^{2} = \sum_{一世 = 1个}^{ñ} {（ X_{一世} - \bar{X} ）}^{2}

$\sum_{i=1}^n \left(X_i - \mu - ( \bar{X}-\mu) \right)^2 = \sum_{i=1}^n \left(X_i - \bar{X} \right)^2$

— JohnK

@AlecosPapadopoulos哦，是的，我看到了问题。

— JohnK

我已经就此事写了一小段，我认为是时候将其上传到我的博客了。如果您有兴趣阅读，我会通知您。在这种情况下，样本方差的渐近分布很有趣，甚至样本标准偏差的渐近分布也很有趣。这些结果适用于任何二分法随机变量。

p = 1 / 2

$p=1/2$

— Alecos Papadopoulos

愚蠢的问题，但是如果不正常，我们怎么能假设是辅助的呢？还是总是是辅助的（我猜是平均均值参数化），但仅当样本均值是根据巴苏定理的完全充分统计量（即正态分布）时才与样本均值无关？

S^{2}

$S^2$

X_{i}

$X_i$

S^{2}

$S^2$

— Chill2Macht

Alecos和JohnK的出色答案已经得出了您想要的结果，但是我想说明一下有关样本方差的渐近分布的其他信息。

看到使用正态分布呈现的渐近结果是很常见的，这对于陈述定理很有用。但是，实际上，样本统计量的渐近分布的目的是，当大时，它可以使您获得近似分布。您可以为大样本逼近做出很多选择，因为许多分布具有相同的渐近形式。在样本方差的情况下，我认为大的极佳近似分布由下式给出： $n$ $n$

\frac{{小号}_{ñ}^{2}}{σ^{2}} 〜 \frac{- （ df = d F_{ñ} ）}{d F_{ñ}} ，

$\frac{S_n^2}{\sigma^2} \sim \frac{\text{Chi-Sq}(\text{df} = DF_n)}{DF_n},$

其中和是峰度参数。该分布渐近等效于从定理得出的正态近似值（随着自由度趋于无穷大，卡方分布收敛于正态）。尽管存在这种等效关系，但您仍希望近似分布具有各种其他属性： $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2) = 2n / ( \kappa - (n-3)/(n-1))$ $\kappa = \mu_4 / \sigma^4$

与直接从定理中得出的正态近似不同，此分布为关注统计量提供了正确的支持。样本方差是非负的，并且此分布具有非负的支持。
在基础值呈正态分布的情况下，这种近似值实际上就是精确的采样分布。（在这种情况下，我们有给出了，这是大多数文本中使用的标准格式。）因此，它构成的结果在一个重要的特殊情况下是精确的，同时仍然是一个合理的近似值。更一般的情况。 $\kappa = 3$ $DF_n = n-1$

上述结果的推导：O'Neill（2014）详细讨论了样本均值和方差的近似分布结果，并且本文提供了许多结果的推导，包括当前的近似分布。

该推导从问题的极限结果开始：

\sqrt{ñ} （ {小号}_{ñ}^{2} - σ^{2} ） 〜 ñ （ 0 ， σ^{4} （ κ - 1个 ） ） 。

$\sqrt{n} (S_n^2 - \sigma^2) \sim \text{N}(0, \sigma^4 (\kappa - 1)).$

重新排列此结果，我们得到近似值：

\frac{{小号}_{ñ}^{2}}{σ^{2}} 〜 ñ （ 1个 ， \frac{κ - 1个}{ñ} ） 。

$\frac{S_n^2}{\sigma^2} \sim \text{N} \Big( 1, \frac{\kappa - 1}{n} \Big).$

由于卡方分布是渐近正态的，因此我们有： $DF \rightarrow \infty$

\frac{- （ d F ）}{d F} \to \frac{1个}{d F} ñ （ d F ， 2 d F ） = ñ （ 1个 ， \frac{2}{d F} ） 。

$\frac{\text{Chi-Sq}(DF)}{DF} \rightarrow \frac{1}{DF} \text{N} ( DF, 2DF ) = \text{N} \Big( 1, \frac{2}{DF} \Big).$

取（产生上述公式），得出，确保卡方分布是渐近的。等效于极限定理的正态近似。 $DF_n \equiv 2 / \mathbb{V}(S_n^2 / \sigma^2)$ $DF_n \rightarrow 2n / (\kappa - 1)$

— 恢复莫妮卡
source

一个经验上有趣的问题是，这两种渐近结果中的哪一种在各种基础数据分布下的有限样本情况下效果更好。

— lzstat

是的，我认为这将是一个非常有趣（且可发布）的模拟研究。由于本公式基于样本方差方差的峰度校正，因此，我希望当您的峰度参数的基本分布距离中胚层远时，即当峰度-更正最重要）。由于需要从样本中估计峰度，因此什么时候总体性能会有实质性改善是一个悬而未决的问题。

— 恢复莫妮卡