哪里来自于中心极限定理（CLT）？

36

中央受限定理的一个非常简单的版本，如下，这是Lindeberg–Lévy CLT。我不明白为什么在左侧有。Lyapunov CLT说但是为什么不是？谁能告诉我这些因素是什么，例如和？我们如何在定理中得到它们？

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— 飞猪
source

3

stats.stackexchange.com/questions/3734中对此进行了说明。这个答案很长，因为它要求“直觉”。它得出结论：“不过，这种简单的近似说明了de Moivre最初是如何怀疑存在通用极限分布的，它的对数是二次函数，并且正确的比例因子必须与成比例 ...”。

s_{n}

$s_n$

\sqrt{n}

$\sqrt{n}$

— ub

1

直观地，如果所有则，第二行从第一行开始：除以（当然是Lyapunov条件，组合关闭所有，是另一个问题）

σ_{i} = σ

$\sigma_i=\sigma$

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ)}{\frac{s_{n}}{\sqrt{n}}} = \frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ $\sigma_i$

— Sextus Empiricus

33

好问题（+1）！

您将记住，对于独立的随机变量和，和。因此的方差为，并且是。 $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ $\sum_{i=1}^n \sigma^2 = n\sigma^2$ $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

这是为了方差。要标准化随机变量，请将其除以其标准偏差。如您所知，的期望值为，因此变量 $\bar{X}$ $\mu$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ 期望值为0，方差为1。因此，如果趋向于高斯，则它必须是标准的高斯。您在第一个方程式中的公式是等价的。通过将左侧乘以可以将方差设置为。

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

关于第二点，我认为上面显示的方程式说明您必须除以而不是才能标准化方程式，并解释了为什么使用（的估计量而不是。 $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

另外： @whuber建议讨论进行缩放的原因。他在那里做，但是因为答案很长，所以我将尝试捕捉他的论点的实质（这是对德·莫弗尔思想的重构）。 $\sqrt{n}$

如果您添加了大量的+1和-1的，可以近似地认为总和将是概率通过元素计数。该概率的对数与成正比。因此，如果我们希望随着变大而使上述概率收敛到一个常数，则必须在使用归一化因子。 $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

使用现代的数学工具（post de Moivre），您可以注意到所寻找的概率为

P (j) = \frac{(\binom{n}{n / 2 + j})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + j)! (n / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

我们用斯特林公式近似

P (j) \approx \frac{n^{n} e^{n / 2 + j} e^{n / 2 - j}}{2^{n} e^{n} (n / 2 + j)^{n / 2 + j} (n / 2 - j)^{n / 2 - j}} = {(\frac{1}{1 + 2 j / n})}^{n + j} {(\frac{1}{1 - 2 j / n})}^{n - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

\log (P (j)) = - (n + j) \log (1 + 2 j / n) - (n - j) \log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
source

请查看我对Michael C.和Guy先前答案的评论。

— ub

似乎像第一个方程式（LL CLT）s / b吗？这也使我感到困惑，作为方差出现。

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner 2012年

如果用均值和方差（不是标准偏差）对高斯参数化，那么我认为OP的公式是正确的。

— gui11aume12年

1

啊..鉴于如果乘以通过我们得到了OP显示的内容（ cancel）：即。但是我们知道VAR（aX）= a ^ 2Var（X），在这种情况下，a =而Var（X）为1，因此分布为。

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner 2012年

桂，如果不是太晚，我想确保我有正确的答案。如果我们假设然后乘以常数（），即该数量的期望值（即）仍然为零，因为E [aX] = a * E [X] => * 0 = 0。它是否正确？

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner 2012年

8

关于什么样的分布可以限制随机变量之和的分布，有一个很好的理论。不错的资源是彼得罗夫（Petrov ）的以下著作，我个人非常喜欢。

事实证明，如果要研究这种类型的极限，其中是独立随机变量，则极限分布为仅某些分布。

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

然后有许多数学运算，可以归结为几个定理，这些定理完全刻画了极限中发生的情况。此类定理之一是由于Feller：

定理令为独立随机变量的序列，为的分布函数，为正常数的序列。为了使 $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

和

sup_{x} | P (a_{n}^{- 1} \sum_{k = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

有必要并且足够

\sum_{k = 1}^{n} \int_{| x | \geq ε a_{n}} d V_{k} (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} \sum_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

和

a_{n}^{- 1} \sum_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

然后，该定理使您了解外观。 $a_n$

书中的一般理论以这样的方式构造：以任何方式限制范数常量，但是给出必要条件和充分条件的最终定理除了之外，没有留下范数常量的余地。 $\sqrt{n}$

— mpiktas
source

4

s代表样本平均值的样本标准偏差。小号为样本均值的样本方差和它等于小号 / N。其中S是总体方差的样本估计。由于s = S /√n，这解释了√n在第一个公式中的出现方式。请注意，如果限制为 $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N（0,1），但限制为N（0，σ）。由于S是σ的一致估计，因此在第二等式中使用来使σ超出极限。 $^2$ $_n$

— 迈克尔·R·切尼克
source

那么问题的其他（更基本和重要的）部分又如何呢：为什么使用而不是其他一些分散的度量？

s_{n}

$s_n$

— ub

@whuber可能有待讨论，但这不是问题的一部分。OP只是想知道为什么s和√n出现在CLT的公式中。当然存在S是因为它与σ保持一致，并且以CLT的形式删除了。

_{n}

$_n$

_{n}

$_n$

— Michael R. Chernick 2012年

1

对我来说，还不清楚是否存在，因为它“对于一致”。为什么这还不意味着要使用归一化极值统计信息（这将不起作用）？我缺少简单而不言而喻的东西吗？而且，要回显OP，为什么不使用毕竟，这与是一致的！

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— ub

所述定理具有N（0,1）的收敛性，因此要达到目的，您要么必须知道σ并使用它，要么使用它的一致估计即可，这取决于我认为的Slutsky定理。我不清楚吗？

— Michael R. Chernick

我不认为你不清楚。我只是认为可能遗漏了一个重要的观点。毕竟，对于许多分布，我们可以使用IQR而不是来获得极限正态分布，但是结果却不那么整洁（极限分布的SD取决于我们开始的分布）。我只是建议应该对此加以说明。对于没有40年标准化所遇到的所有发行版本所产生的直觉的人来说，这将不是那么明显！

s_{n}

$s_n$

— ub

2

直观地，如果对于某些我们应该期望大致等于 ; 这似乎是一个非常合理的期望，尽管我一般认为这不是必需的。第一个表达式中的原因是的方差像一样变为，因此会夸大方差，因此表达式的方差等于。在第二个表达式中，术语定义为 $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ 虽然分子的方差像一样增长，所以我们再次使整个表达式的方差为常数（在这种情况下为）。 $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

本质上，我们知道的分布正在发生“有趣”的事情，但是如果我们不能正确地居中和缩放它，我们将无法看到它。我听说这有时需要调整显微镜。如果不炸毁（如）由那么我们就必须由弱律分布; 它本身就是一个有趣的结果，但没有CLT提供的信息丰富。如果我们将以为主的任何因数充气，则仍将而为主的任何因数 $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ 将。事实证明是正确的放大倍率，能够看到在这种情况下发生的情况（注意：这里所有的收敛都在分布中；还有另一个放大倍数，对于几乎可以肯定的收敛很有趣，这会引起到对数的迭代法则）。 $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— 家伙
source

4

首先应解决的一个更基本的问题是，为什么使用SD来测量色散。为什么不是绝对中央时刻的其他一些价值？还是为什么不选择IQR或其任何亲戚？一旦得到回答，协方差的简单属性便立即赋予依赖性（正如@ Gui11aume最近解释的那样。）

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

我同意@whuber，这就是为什么我将其呈现为启发式。我不确定是否可以进行简单的解释，尽管我希望听到一个解释。对我来说，我不确定过去有一个更简单，可以解释的原因，因为“平方项是减去均值后特征函数的泰勒展开式中的相关项”。

— 家伙