分布收敛和概率收敛的直观解释

26

概率收敛的随机变量与分布收敛的随机变量之间的直观区别是什么？

我已经阅读了许多定义和数学方程式，但这并没有真正的帮助。（请记住，我是正在研究计量经济学的本科生。）

随机变量如何收敛到单个数字，又收敛到分布？

— 尼斯费拉
source

1

“哪有一个随机变量收敛到一个单一的数字，但也收敛到一个分配？” -我认为您可以从澄清RV是否可以收敛到单个数字或整个分布中受益（一旦您意识到“单个数”本质上是一种特殊的分布类型，这将是个谜）还是您的困惑是，单个RV如何根据一种收敛模式收敛为常数，而如何根据另一种收敛模式收敛为分布？

— 银鱼

1

像@CloseToC一样，我想知道您是否遇到过回归，一方面告诉您是“渐近正常”，但另一方面告诉您它收敛到了真实的。

\hat{β}

$\hat \beta$

β

$\beta$

— 银鱼

@Silverfish，我实际上还没有！

— nicefella

25

随机数如何收敛为常数？

假设您的盒子里有球。您可以一一挑选。选好球之后，我问你：盒子里的球的平均重量是多少？最好的答案是。您意识到本身是随机值吗？这取决于您首先选择了哪个球。 $N$ $k$ $\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$ $\bar x_k$ $k$

现在，如果您继续拉球，在某些时候，盒子中将不再有球，您将得到。 $\bar x_N\equiv\mu$

因此，我们得到的是随机序列收敛为常数。因此，理解概率收敛问题的关键是要意识到我们正在谈论以某种方式构造的一系列随机变量。

{\bar{x}}_{1}, \dots, {\bar{x}}_{k}, \dots, {\bar{x}}_{N}, {\bar{x}}_{N}, {\bar{x}}_{N}, \dots

$\bar x_1,\dots,\bar x_k, \dots, \bar x_N ,\bar x_N, \bar x_N, \dots$

{\bar{x}}_{N} = μ

$\bar x_N = \mu$

接下来，让我们获得统一的随机数，其中。让我们看一下随机序列，其中。该是一个随机值，因为它的所有条款都是随机的值。我们无法预测是什么。但是，事实证明，我们可以说的概率分布将越来越像标准正态。这就是分布收敛的方式。 $e_1,e_2,\dots$ $e_i\in [0,1]$ $\xi_1,\xi_2,\dots$ $\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$ $\xi_k$ $\xi_k$ $\xi_k$ $\mathcal{N}(0,1)$

— 阿克萨卡尔族
source

1

达到N后，第一个示例中的随机变量序列是什么？极限如何评估？

— ekvall

这只是一种直觉。想象一下无限框，因此，您的估计量收敛到总体均值。

{\bar{x}}_{\infty}

$\bar x_\infty$

μ

$\mu$

— 阿克萨卡（Aksakal）

21

尚不清楚该问题的读者对任何事物的收敛有多少直觉，更不用说随机变量了，所以我将写出来的答案似乎是“很小”。一些可能的帮助：而不是思考“怎么能一个随机变量收敛”，请问怎么序列的随机变量可以收敛。换句话说，它不仅是单个变量，而且是（无限长！）变量列表，而列表后面的变量越来越接近……某物。也许是单个数字，也许是整个分布。为了发展直觉，我们需要弄清楚“越来越近”的意思。随机变量收敛的方式如此之多的原因是，“

首先，让我们回顾一下实数序列的收敛性。在我们可以使用欧几里得距离测量与接近程度。考虑。然后序列开始和我声称收敛到。显然越来越接近到，但它也确实越来越接近 $\mathbb{R}$ $|x-y|$ $x$ $y$ $x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$ $x_1, \, x_2, \, x_3, \dots$ $2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$ $x_n$ $1$ $x_n$ $1$ $x_n$ $0.9$ 。例如，从第三项开始，序列中的项与的距离为或更小。重要的是它们任意接近，但不接近。序列中没有条件真的来临之内的，更不用说保持这种密切的后续条款。相比之下因此是从，和所有随后的术语是内的，如下所示。 $0.5$ $0.9$ $1$ $0.9$ $0.05$ $0.9$ $x_{20}=1.05$ $0.05$ $1$ $0.05$ $1$

（n + 1）/ n收敛至1

我可能会更严格一些，需求项的取值应保持在的之内，并且保持在的范围之内，在本示例中，我发现对于及以后的项，这是正确的。此外，我可以选择任何固定的接近度阈值，无论多么严格（除了，即项实际上为），最终条件将满足了超过某一术语（象征性的所有术语：用于，其中的值取决于如何严格的 $0.001$ $1$ $N=1000$ $\epsilon$ $\epsilon = 0$ $1$ $|x_n - x| \lt \epsilon$ $n \gt N$ $N$ $\epsilon$ 我选择了）。对于更复杂的示例，请注意，我对第一次满足条件并不一定感兴趣-下一个术语可能不符合该条件，这很好，只要我可以沿其顺序进一步找到一个术语满足条件，并在以后的所有条件中保持满足。我用说明这一点，它也收敛到，再次被阴影化。 $x_n = 1 + \frac{\sin(n)}{n}$ $1$ $\epsilon=0.05$

1 + sin（n）/ n收敛至1

现在考虑和随机变量的序列。这是一系列RV，其中，，等。在什么意义上我们可以说这越来越接近本身？ $X \sim U(0,1)$ $X_n = \left(1 + \frac{1}{n}\right) X$ $X_1 = 2X$ $X_2 = \frac{3}{2} X$ $X_3 = \frac{4}{3} X$ $X$

由于和是分布，而不仅仅是单个数字，因此条件现在是一个事件：即使对于一个固定的和这可能会或可能不会发生。考虑到它被满足的概率会导致概率收敛。对于我们想要的互补概率 -直观地，该概率有些不同（由至少），以 -到变得任意小，足够大 $X_n$ $X$ $|X_n - X| \lt \epsilon$ $n$ $\epsilon$ $X_n \overset{p}{\to} X$ $P(|X_n - X| \ge \epsilon)$ $X_n$ $\epsilon$ $X$ $n$ 。对于固定的这会产生整个概率序列，即，，，，如果这个序列概率收敛到零（如发生在我们的例子），那么我们说的概率收敛。请注意，概率限制通常是常数：例如，在计量经济学回归中，随着样本数量增加，我们会看到。但是这里 $\epsilon$ $P(|X_1 - X| \ge \epsilon)$ $P(|X_2 - X| \ge \epsilon)$ $P(|X_3 - X| \ge \epsilon)$ $\dots$ $X_n$ $X$ $\text{plim}(\hat \beta) = \beta$ $n$ $\text{plim}(X_n) = X \sim U(0,1)$ 。有效地，概率收敛意味着和在特定实现上不太可能相差太多- 只要我选择一个，我就可以使和的概率比小得多足够大的。 $X_n$ $X$ $X_n$ $X$ $\epsilon$ $n$

变得更接近的另一种感觉是它们的分布越来越相似。我可以通过比较他们的CDF来衡量。特别是，选择一些，其中是连续的（在我们的示例中因此它的CDF在任何地方都是连续的，任何都会这样做）并求出序列的CDF在那里。这将产生另一个概率序列，，和并且此序列收敛到。CDF在 $X_n$ $X$ $x$ $F_X(x) = P(X \leq x)$ $X \sim U(0,1)$ $x$ $X_n$ $P(X_1 \leq x)$ $P(X_2 \leq x)$ $P(X_3 \leq x)$ $\dots$ $P(X \leq x)$ $x$ 为每个的成为任意接近的CDF评价在。如果不管是哪个这个结果也是如此，我们选择了，然后收敛于的分布。事实证明，这是在这里发生的，我们不应该感到惊讶，因为概率的收敛意味着分布的收敛。请注意，不可能会收敛于特定的非退化分布，而会收敛于常数。 $X_n$ $X$ $x$ $x$ $X_n$ $X$ $X$ $X$ $X_n$ （最初的问题可能是哪个混淆点？但是请稍后再作澄清。）

对于另一个示例，让。现在我们有一系列RV，，，，，这是清楚的是，概率分布退化到一个尖峰。现在考虑退化分布，我的意思是。容易看出，对于任何，序列收敛为零，因此概率收敛为结果， $Y_n \sim U(1, \frac{n+1}{n})$ $Y_1 \sim U(1,2)$ $Y_2 \sim U(1,\frac{3}{2})$ $Y_3 \sim U(1,\frac{4}{3})$ $\dots$ $y=1$ $Y=1$ $P(Y=1)=1$ $\epsilon \gt 0$ $P(|Y_n - Y| \ge \epsilon)$ $Y_n$ $Y$ $Y_n$ 还必须在分布上收敛到，这可以通过考虑CDF来确定。由于CDF的是不连续的，在，我们不需要考虑在该值评价的CDF，但对于在任何其他评估的CDF我们可以看到，序列，，，收敛到，对于为零，对于为。这次，因为RV序列在概率上收敛到一个常数，所以它在分布上也收敛到一个常数。 $Y$ $F_Y(y)$ $Y$ $y=1$ $y$ $P(Y_1 \leq y)$ $P(Y_2 \leq y)$ $P(Y_3 \leq y)$ $\dots$ $P(Y \leq y)$ $y \lt 1$ $y \gt 1$

最后的澄清：

尽管概率收敛表示分布收敛，但反之通常是错误的。仅仅因为两个变量具有相同的分布，并不意味着它们必须彼此接近。举个简单的例子，取和。然后和都具有完全相同的分布（每个为50或为零，则50％的），并且序列即序列在分布上平易收敛于（序列中任何位置的CDF与的CDF相同。但是和 $X\sim\text{Bernouilli}(0.5)$ $Y=1-X$ $X$ $Y$ $X_n=X$ $X,X,X,X,\dots$ $Y$ $Y$ $Y$ $X$ 总是一个开，从而，从而不趋向于零，所以不收敛于在概率。但是，如果在一个常数的分布中存在收敛，则意味着该常数的概率收敛（直觉上，在顺序上进一步远离该常数将变得不可能）。 $P(|X_n - Y| \ge 0.5)=1$ $X_n$ $Y$
正如我的例子所表明的那样，概率收敛可以是一个常数，但不必一定是恒定的。分布趋同也可能是恒定的。不可能将概率收敛到一个常数，而将分布收敛到一个特定的非退化分布，反之亦然。
是否有可能看到一个示例，例如，有人告诉您序列融合了另一个序列？您可能还没有意识到这是一个序列，但是如果它是一个也依赖于的分布，那么赠品将是。两个序列都可能收敛为一个常数（即简并分布）。您的问题表明您想知道RV的特定序列如何收敛到常数和分布。我想知道这是否就是您要描述的场景。 $X_n$ $Y_n$ $n$
我目前的解释不是很“直观”-我打算将直觉制作成图形，但是还没有时间为RV添加图形。

— 蠹虫
source

16

在我看来，现有的答案都传达了有用的观点，但是它们并没有在两种融合模式之间做出重要区分。

令，和为随机变量。为直观，假设通过某个随机实验为分配了值，该随机实验对每个了少许更改，从而给出了无限数量的随机变量序列，并且假设得到了由其他某个随机实验分配的值。 $X_n$ $n=1,2,\dots$ $Y$ $X_n$ $n$ $Y$

根据定义，如果，则和彼此相差某个任意少量的概率接近零，与您一样小喜欢。宽松地说，在序列的远处，我们相信和值将非常接近。 $X_n\overset{p}{\to}Y$ $Y$ $X_n$ $n\to\infty$ $X_n$ $X_n$ $Y$

另一方面，如果我们仅在分布上具有收敛性而在概率上没有收敛性，那么我们知道对于大，几乎对于任何，与几乎相同。注意，这并没有说明和的值彼此之间的接近程度。例如，如果，并且因此对于大的也非常类似地分布，那么从直觉，和的值似乎 $n$ $P(X_n\leq x)$ $P(Y\leq x)$ $x$ $X_n$ $Y$ $Y\sim N(0, 10^{10})$ $X_n$ $n$ $X_n$ $Y$ 在任何给定的观察结果中，都会有很大的不同。毕竟，如果除了分布收敛以外对它们没有任何限制，则出于所有实际原因，它们很可能是独立的变量。 $N(0,10^{10})$

（在某些情况下，比较和甚至没有意义，也许它们甚至没有在相同的概率空间上定义。不过，这是更技术性的说明。） $X_n$ $Y$

— 埃克瓦尔
source

1

（+1）您甚至不需要改变-我打算在答案中添加一些细节，但出于长度原因决定不这样做。但是我认为这是一个值得提出的观点。

X_{n}

$X_n$

— 银鱼

12

我不明白的是，随机变量如何收敛到单个数字，又收敛到分布？

如果您正在学习计量经济学，那么您可能会在回归模型的背景下对此感到疑惑。它收敛到简并的分布，成为常数。但是其他的确具有不退化的极限分布。

$\hat{\beta}_n$ 如果满足必要的假设，则的概率收敛至。这意味着，通过选择足够大的样本量，估算器将尽可能接近我们想要的真实参数，并且它的距离可能会尽可能小。如果您考虑绘制各种的直方图，最终将只是一个以为中心的尖峰。 $\beta$ $N$ $\hat{\beta}_n$ $n$ $\beta$

在什么意义上会收敛？它也收敛到一个常数。不针对正态分布的随机变量。如果计算的方差，则会看到它的收缩量为。因此，最终它将以足够大的变为零，这就是为什么估算器变为常数的原因。收敛到正态分布的随机变量的是 $\hat{\beta}_n$ $\hat{\beta}_n$ $n$ $n$

$\sqrt{n}(\hat{\beta}_n - \beta)$ 。如果采用的是方差，则不会随缩小（也不增大）。在非常大的样本中，在标准假设下，这大约为。然后，我们可以使用此近似值来近似那个大样本中的分布。 $n$ $N(0, \sigma^2)$ $\hat{\beta}_n$

但是您没错的限制分布也是一个常数。 $\hat{\beta}_n$

— 封闭式
source

1

将其视为“ 用放大镜看着 ”，放大率随以的速率增加。

\hat{β_{n}}

$\hat{\beta_n}$

n

$n$

\sqrt{n}

$\sqrt{n}$

— kjetil b halvorsen

7

让我尝试使用一些非常简单的示例来给出一个简短的答案。

分布趋同

令对于所有n，然后收敛到分布中的。但是，实现的随机性不会随时间变化。如果必须预测的值，则对错误的期望不会随时间变化。 $X_n \sim N\left(\frac{1}{n}, 1 \right)$ $X_n$ $X \sim N(0, 1)$ $X_n$ $X_n$

概率收敛

现在，考虑随机变量，其值的概率为，否则为。随着达到无穷大，我们越来越确定将等于。因此，我们说的概率收敛到。注意，这也意味着的分布收敛到。 $Y_n$ $0$ $1-\frac{1}{n}$ $1$ $n$ $Y_n$ $0$ $Y_n$ $0$ $Y_n$ $0$

— 斯文
source