中心极限定理与大数定律

14

中心极限定理指出，随着趋于无穷大，iid变量的均值变得正态分布。 $N$

这提出了两个问题：

我们可以由此推论出大数定律吗？如果大数定律告诉我们，随机变量的值的样本均值等于真实平均作为趋于无穷大，那么似乎更强地说，（作为中心极限表示），该值变为其中是标准偏差。那么说中心极限意味着大数定律是否公平？ $\mu$ $N$ $\mathcal N(\mu, \sigma)$ $\sigma$
中心极限定理是否适用于变量的线性组合？

probability central-limit-theorem law-of-large-numbers

— 用户名
source

5

您关于“中心极限定理指出，随着趋于无穷大，iid变量的均值变为正态分布”的说法是错误的。请参阅我对最近提出的类似问题的回答。该问题的另一个答案已发布，但此后不久被删除，该答案之后的讨论现在也消失了，也讨论了这些问题。

N

$N$

— Dilip Sarwate'2

1

为什么样本均值收敛于总体均值

μ

$\mu$ 比样品平均会聚到一个较弱的结果样品从分配？

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate'2

@DilipSarwate感谢您提供标志，但您的意见是IMO足以揭示问题的误解，并且确实出现了合理的答案。

10

OP说

中心极限定理指出，随着N趋于无穷大，iid变量的均值变为正态分布。

我认为这是OP的信念，即对于均值为和标准差为 iid随机变量，的累积分布函数 $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$ 收敛到的累积分布函数，是具有均值和标准差的正态随机变量。或者，OP认为该公式的重新排列较小，例如的分布收敛到的分布或

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ 收敛于分配

N (0, 1)

$\mathcal N(0,1)$ ，标准普通随机变量。注意，作为示例，这些语句暗示着

作为

。

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$

OP继续说

这提出了两个问题：

我们可以由此推论出大数定律吗？如果大数定律说当N趋于无穷大时，随机变量值样本的均值等于真实均值μ，那么说（如中心极限所示）值变为N（ μ，σ），其中σ是标准偏差。

大数的弱定律说，对于iid 为有限均值随机变量，给定任何， $X_i$ $\mu$ $\epsilon > 0$ 注意，没有必要假设标准偏差是有限的。

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$

因此，为了回答OP的问题，

OP指出 的中心极限定理并不意味着 大数定律是弱的。当，中心极限定理的OP版本表示而弱定律说 $n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
根据中心极限定理的正确表述，最多只能得出适用于具有有限均值和标准偏差的随机变量的大数弱定律的一种受限形式。但是，大数定律也适用于具有有限均值但标准偏差无限的随机变量，例如帕累托随机变量。
我不明白为什么说样本均值收敛到一个正常的随机变量标准偏差非零比说样本均值收敛到总体均值（人口常数是常数（或者如果标准偏差为零，则是随机变量，如果是你喜欢）。

— 迪利普·萨瓦特（Dilip Sarwate）
source

我想知道反对我的答案的人对我说的话有异议还是不正确。

— Dilip Sarwate

7

对于大数法则，你需要有在同一概率空间中定义的所有变量（如大数法则是一个有关确定的事件的概率声明，所有同时进行）。为了使分布收敛，您可以具有不同的概率空间，从而简化了证明的许多方面（例如，增加嵌套空间，这对于各种三角形阵列证明来说是非常常见的）。但是，这也意味着你不能做出有关的联合分布的任何声明和 $\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$ 说。因此，不，分布的收敛并不意味着大数定律，除非您对所有变量都有共同的概率空间。

— 斯塔克
source

（+1）您说的是正确的，很重要。三角形阵列允许每个“行”中的变量与先前行相比存在于不同的概率空间中。另一方面，如果我们先验地说我们正在考虑一系列iid随机变量，那么，隐含变量必须存在于公共基础空间中，这样独立性的概念才有意义。

— 主教

@cardinal：所以，如果我正确理解的话，在所有都定义在同一空间的“简单”情况下，是中心性暗示着大数定律吗？或者没有？

— user9097'2

@ user9097既然我们现在进入细微的领域，那么正在询问哪个大数定律？弱律还是强律？

— Dilip Sarwate'2

这一点仅适用于大数定律，而不适用于弱定律

— kjetil b halvorsen

4

$\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$

$X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

换句话说，在CLT下，随机变量的线性组合不会收敛到法线的线性组合，只是一个法线。这是有道理的，因为随机变量的线性组合只是CLT可以直接应用的不同随机变量。

— 丹尼尔·约翰逊（Daniel Johnson）
source

1

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$

w_{n i} = 1 / n

$w_{ni} = 1/n$

i = 1, \dots, n

$i = 1,\ldots,n$ ，一个自然的问题可能是，当我们用其他（更任意）的权重代替这些“均匀”的权重时，会发生什么。什么时候还能获得CLT？林德伯格的CLT可以用来解决这个问题。

— 主教

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$

w_{j}

$w_j$

w_{j}

$w_{j}$

w_{j} X

$w_jX$

w

$w$

n

$n$

1

E X = 0

$\mathbb E X = 0$

w_{j}

$w_j$

w_{1} = 1

$w_1 = 1$

w_{2} = 0

$w_2 = 0$

w_{j}

$w_j$

w_{j} = 0

$w_j = 0$

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$

0

$0$

1

$1$

1 / 2

$1/2$

1 / 4

$1/4$

0

$0$

1

$1$