考虑的总和

我一直在想这个问题。我觉得它突然发生有点奇怪。基本上，为什么我们只需要三个均匀的 $Z_n$ 就能平滑呢？为何平滑化如此迅速地进行？

$Z_2$ ：

$Z_3$ ：

（图像从John D. Cook的博客中无耻地被盗：http : //www.johndcook.com/blog/2009/02/12/sums-of-uniform-random-values/）

为什么不用四套制服？还是五个？要么...？

— 四卦
source

好吧，简单到容易就可以了，因为3个制服的总和在pf中有二次分段，一旦获得两个或更多制服，您的平均值就会达到峰值。二次峰是“平滑的” ...并且二次块之间的连接点是1和2，因此它不能以1.5扭结。还有其他方法可以得出相同的结论

— Glen_b 2012年

我们可以采取各种方法，其中某些方法对某些人似乎很直观，而对另一些人则不太直观。为了适应这种变化，此答案调查了几种这样的方法，涵盖了数学思想的主要划分-分析（无限和无限小），几何/拓扑（空间关系）和代数（符号操纵的形式模式）以及概率本身。最终得出的结论是将所有四种方法统一起来，证明这里有一个真正的问题需要回答，并确切说明问题所在。每种方法都以其自己的方式提供了对独立统一变量之和的概率分布函数形状的性质的更深入了解。

背景

的统一分配 $[0,1]$ 有几个基本的描述。当具有这样的分布时， $X$

的机会，在于可测量的集合只是度量（长度），写入。 $X$ $A$ $A \cap [0,1]$ $|A \cap [0,1]|$
由此可见，累积分布函数（CDF）是

$F_{X} (x) = Pr (X \leq x) = | (- \infty, x] \cap [0, 1] | = | [0, min (x, 1)] | = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ x & 0 \leq x \leq 1 \\ 1 & x > 1. \end{cases} \end{array}$ $F_X(x) = \Pr(X \le x) = |(-\infty, x] \cap [0,1]| = |[0,\min(x,1)]| = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x\lt 0 \\ x & 0\leq x\leq 1 \\ 1 & x\gt 1. \end{array}\right. \end{array}$
的概率密度函数（PDF），其是衍生物CDF的，是为和否则。（在和处未定义。） $f_X(x) = 1$ $0 \le x \le 1$ $f_X(x)=0$ $0$ $1$

特征函数的直觉（分析）

任何随机变量的特征函数（CF）是的期望值（其中是虚数单位，）。使用均匀分布的PDF，我们可以计算 $X$ $\exp(i t X)$ $i$ $i^2=-1$

ϕ_{X} (t) = \int_{- \infty}^{\infty} \exp (i t x) f_{X} (x) d x = \int_{0}^{1} \exp (i t x) d x = {\frac{\exp (i t x)}{i t} |}_{x = 0}^{x = 1} = \frac{\exp (i t) - 1}{i t} .

$\phi_X(t) = \int_{-\infty}^\infty \exp(i t x) f_X(x) dx = \int_0^1 \exp(i t x) dx = \left. \frac{\exp(itx)}{it} \right|_{x=0}^{x=1} = \frac{\exp(it)-1}{it}.$

该CF是一（版本）傅立叶变换的PDF，。关于傅立叶变换的最基本定理是： $\phi(t) = \hat{f}(t)$

自变量的总和的CF 是它们CF 的乘积。 $X+Y$
当原始PDF 是连续的，为界，可以从CF恢复由傅立叶密切相关的版本变换， $f$ $X$ $f$ $\phi$

f (x) = \overset{ˇ}{ϕ} (x) = \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t .

$f(x) = \check{\phi}(x) = \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt.$

当是可微数时，其导数可以用整数符号计算： $f$

$f^{'} (x) = \frac{d}{d x} \frac{1}{2 π} \int_{- \infty}^{\infty} \exp (- i x t) ϕ (t) d t = \frac{- i}{2 π} \int_{- \infty}^{\infty} t \exp (- i x t) ϕ (t) d t .$ $f'(x) = \frac{d}{dx} \frac{1}{2\pi} \int_{-\infty}^\infty \exp(-i x t) \phi(t) dt = \frac{-i}{2\pi} \int_{-\infty}^\infty t \exp(-i x t) \phi(t) dt.$
为了使这一点定义明确，最后一个积分必须绝对收敛。那是，

$\int_{- \infty}^{\infty} | t \exp (- i x t) ϕ (t) | d t = \int_{- \infty}^{\infty} | t | | ϕ (t) | d t$ $\int_{-\infty}^\infty |t \exp(-i x t) \phi(t)| dt = \int_{-\infty}^\infty |t| |\phi(t)| dt$
必须收敛到一个有限值。相反，当其收敛时，借助于这些反演公式，导数随处可见。

现在清楚地知道，对于统一变量之和，PDF的可区分性是多少：从第一个项目符号开始，iid变量之和的CF是其中一个变量的CF升至次方，这里等于。分子是有界的（由正弦波组成），而分母是。我们可以将这样的被乘数乘以，当时，它将仍然绝对收敛，而当时，将有条件地收敛。因此，重复应用第三个项目符号显示，均匀变量之和的PDF 将连续为 $n$ $n^\text{th}$ $(\exp(i t) - 1)^n / (i t)^n$ $O(t^{n})$ $t^{s}$ $s \lt n-1$ $s = n-1$ $n$ $n-2$ 次可微，在大多数地方，它将是 $n-1$ 倍。

n = 10时的CF

蓝色阴影曲线是同等变量之和的CF实部绝对值的对数对。红色虚线是渐近线。其斜率为，表明PDF的可微数为倍。作为参考，灰色曲线绘制了形状相似的高斯函数（常规PDF）的CF的实部。 $n=10$ $-10$ $10 - 2 = 8$

概率直觉

令和为独立的随机变量，其中具有一致的分布。考虑一个狭窄的区间，将的机会分解为足够接近该区间的机会乘以恰好大小的机会假设足够接近，则将放置在此间隔中： $Y$ $X$ $X$ $[0,1]$ $(t, t+dt]$ $X+Y \in (t, t+dt]$ $Y$ $X$ $X+Y$ $Y$

\begin{aligned} f_{X + Y} (t) d t = & Pr (X + Y \in (t, t + d t]) \\ = Pr (X + Y \in (t, t + d t] | Y \in (t - 1, t + d t]) Pr (Y \in (t - 1, t + d t]) \\ = Pr (X \in (t - Y, t - Y + d t] | Y \in (t - 1, t + d t]) (F_{Y} (t + d t) - F_{Y} (t - 1)) \\ = 1 d t (F_{Y} (t + d t) - F_{Y} (t - 1)) . \end{aligned}

$\eqalign{ f_{X+Y}(t) dt = &\Pr(X+Y\in (t,t+dt])\\ & = \Pr(X+Y\in (t,t+dt] | Y \in (t-1, t+dt]) \Pr(Y \in (t-1, t+dt]) \\ & = \Pr(X \in (t-Y, t-Y+dt] | Y \in (t-1, t+dt]) \left(F_Y(t+dt) - F_Y(t-1)\right) \\ & = 1 dt \left(F_Y(t+dt) - F_Y(t-1)\right). }$

最终的相等性来自的PDF表达式。将两边除以并将极限值设为得出 $X$ $dt$ $dt\to 0$

f_{X + Y} (t) = F_{Y} (t) - F_{Y} (t - 1) .

$f_{X+Y}(t) = F_Y(t) - F_Y(t-1).$

换句话说，加入统一的变量对任何变量改变PDF 到CDF求差。因为PDF是CDF的派生，这意味着每次我们向添加一个独立的统一变量时，所得PDF的可比性是以前的一倍。 $[0,1]$ $X$ $Y$ $f_Y$ $F_Y(t) - F_Y(t-1)$ $Y$

让我们从统一变量开始应用这种见解。原始PDF的或不可区分：在此处是不连续的。的PDF 是不可微的，在，，或，但它必须是在这些点连续的，因为它是PDF的积分的差。添加另一个独立变量均匀：的PDF 是可微的在，， $Y$ $0$ $1$ $Y+X$ $0$ $1$ $2$ $Y$ $X_2$ $Y+X+X_2$ $0$ $1$ $2$ 和但不一定在这些点上具有二阶导数。等等。 $3$

几何直觉

在CDF 的总和的 IID均匀个变量等于所述单元超立方体的体积躺在半空间内。对于情况个变量在此示出，用定在，，然后。 $t$ $n$ $[0,1]^n$ $x_1+x_2+\cdots+x_n \le t$ $n=3$ $t$ $1/2$ $3/2$ $5/2$

3D立方体

当从到前进时，超平面与，顶点交叉。横截面的形状每次改变：在图中，它首先是一个三角形（单纯形），然后是一个六边形，然后又是一个三角形。 $t$ $0$ $n$ $H_n(t): x_1+x_2+\cdots+x_n=t$ $t=0$ $t=1, \ldots, t=n$ $2$ 为什么PDF在这些值处没有急剧弯曲？ $t$

要理解这一点，首先考虑较小值。在此，超平面切断的单纯形。单纯形的所有维都与成正比，而其“面积”则与成正比。稍后将对此派上用场。假设为“单位步长函数”， $t$ $H_n(t)$ $n-1$ $n-1$ $t$ $t^{n-1}$ $\theta$

θ (x) = \begin{array}{ll} {\begin{cases} 0 & x < 0 \\ 1 & x \geq 0. \end{cases} \end{array}

$\theta(x) = \begin{array}{ll} \left\{ \begin{array}{ll} 0 & x \lt 0 \\ 1 & x\ge 0. \end{array}\right. \end{array}$

如果不是由于超立方体的其他角的存在，则该缩放将无限期地继续。单项的面积图看起来像下面的实心蓝色曲线：在负值处为零，等于在正数处，可方便地写成。它的阶为 $n-1$ $t^{n-1}/(n-1)!$ $\theta(t) t^{n-1}/(n-1)!$ $n-2$ 从意义上说，阶的所有导数都存在并且是连续的，但是阶的左右导数存在但在原点上不一致。 $n-3$ $n-2$

（在该图所示的其他的曲线是（红色），（金），和（黑色）及其在的情况下的作用。 $-3\theta(t-1) (t-1)^{2}/2!$ $3\theta(t-2) (t-2)^{2}/2!$ $-\theta(t-3) (t-3)^{2}/2!$ ，将在下面进一步讨论。） $n=3$

简单区域图

为了理解越过时发生的情况，让我们详细研究的情况，其中所有几何都发生在一个平面中。我们可以将单位“立方体”（现在只是一个正方形）视为象限的线性组合，如下所示： $t$ $1$ $n=2$

第一象限以灰色显示在左下方面板中。的值是，则确定在所有五个面板中所示的对角线。CDF等于右图所示的黄色区域。黄色区域包括： $t$ $1.5$

左下方面板中的三角形灰色区域，
减去左上方面板中的三角形绿色区域，
减去中下部面板中的三角形红色区域，
加上中间上方面板中的任何蓝色区域（但没有任何这样的区域，直到超过为止也不会存在）。 $t$ $2$

这面积中的每一个都是三角形的面积。第一种鳞片状，接下来的两个是零和否则缩放等，最后是用于零台否则秤像。此几何分析已确定CDF与 $2^n=4$ $t^n=t^2$ $t\lt 1$ $(t-1)^n = (t-1)^2$ $t\lt 2$ $(t-2)^n$ = $\theta(t)t^2 - \theta(t-1)(t-1)^2 - \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ ; 等价地，PDF是正比于三个函数的总和，，以及（他们每个缩放的当时线性 $\theta(t)t^2 - 2 \theta(t-1)(t-1)^2 + \theta(t-2)(t-2)^2$ $\theta(t)t$ $-2\theta(t-1)(t-1)$ $\theta(t-2)(t-2)$ ）。的该图中示出了它们的图中的左侧面板：显然，它们是原始图形的所有版本，但（a）将偏移，，和单位通过重新缩放权和（b），和。 $n=2$ $\theta(t)t$ $0$ $1$ $2$ $1$ $-2$ $1$

n = 2的图形

右面板显示了这些图的总和（实心黑色曲线，已标准化为具有单位面积：这恰好是原始问题中所示的具有角度的PDF。

现在，我们可以了解任何iid统一变量之和在PDF中“扭结”的性质。 它们都是完全一样发生在“扭结” 中的函数，可能重新缩放，并且转移到整数相应于超平面穿过超立方体的顶点。对于，这是方向上的可见变化：的右导数 $0$ $\theta(t)t^{n-1}$ $1,2,\ldots, n$ $H_n(t)$ $n=2$ 在为而其左导数为。对于，这是方向的连续变化，但是二阶导数是突然的（不连续）变化。对于一般，会有通过顺序连续衍生物，但在不连续衍生物。 $\theta(t)t$ $0$ $0$ $1$ $n=3$ $n$ $n-2$ $n-1^\text{st}$

代数运算的直觉

计算CF的积分，概率分析中条件概率的形式以及作为象限的线性组合的超立方体的综合都暗示着要恢复到原始的均匀分布，并将其重新表达为简单事物的线性组合。确实，其PDF可以编写

f_{X} (x) = θ (x) - θ (x - 1) .

$f_X(x) = \theta(x) - \theta(x-1).$

$\Delta$ $f$

(Δ f) (x) = f (x - 1) .

$(\Delta f)(x) = f(x-1).$

$X$

f_{X} = (1 - Δ) θ .

$f_X = (1 - \Delta)\theta.$

$n$ $f_X$ $n$ $f$ $g$

(f ⋆ g) (x) = \int_{- \infty}^{\infty} f (x - y) g (y) d y .

$(f \star g)(x) = \int_{-\infty}^{\infty} f(x-y)g(y) dy.$

$\Delta$ $y$ $y+1$

\begin{aligned} (f ⋆ (Δ g)) & = \int_{- \infty}^{\infty} f (x - y) (Δ g) (y) d y \\ = \int_{- \infty}^{\infty} f (x - y) g (y - 1) d y \\ = \int_{- \infty}^{\infty} f ((x - 1) - y) g (y) d y \\ = (Δ (f ⋆ g)) (x) . \end{aligned}

$\eqalign{ (f \star (\Delta g)) &= \int_{-\infty}^{\infty} f(x-y)(\Delta g)(y) dy \\ &= \int_{-\infty}^{\infty} f(x-y)g(y-1) dy \\ &= \int_{-\infty}^{\infty} f((x-1)-y)g(y) dy \\ &= (\Delta (f \star g))(x). }$

$n$

f = f_{X}^{⋆ n} = ((1 - Δ) θ)^{⋆ n} = (1 - Δ)^{n} θ^{⋆ n}

$f = f_X^{\star n} = ((1 - \Delta)\theta)^{\star n} = (1-\Delta)^n \theta^{\star n}$

$\star n$ $\theta^{\star n}$

θ^{⋆ n} (x) = θ (x) \frac{x^{n - 1}}{n - 1!} .

$\theta^{\star n}(x) = \theta(x) \frac{x^{n-1}}{{n-1}!}.$

剩下的就是代数，因为二项式定理适用（就像实数上任何可交换代数一样）：

f = (1 - Δ)^{n} θ^{⋆ n} = \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) Δ^{i} θ^{⋆ n} .

$f = (1-\Delta)^n \theta^{\star n} = \sum_{i=0}^{n} (-1)^i \binom{n}{i} \Delta^i \theta^{\star n}.$

$\Delta^i$ $i$ $f$ $\theta(x) x^{n-1}$

f (x) = \frac{1}{(n - 1)!} \sum_{i = 0}^{n} (- 1)^{i} (\binom{n}{i}) (x - i)^{n - 1} θ (x - i) .

$f(x) = \frac{1}{(n-1)!}\sum_{i=0}^{n} (-1)^i \binom{n}{i} (x-i)^{n-1}\theta(x-i).$

$(x-i)^{n-1}_+$ $(x-i)^{n-1}\theta(x-i)$

$x^{n-1}$ $\theta(x)$ $0$ $1, 2, \ldots, n$ $n+1$

$n=8$

n = 8的图

结束语

$n$

中心极限定理在这里无话可说。毕竟，iid 二项式变量的总和收敛于正态分布，但该总和始终是离散的：它甚至根本没有PDF！我们不希望对CLT的PDF的“纽带”或其他可区分性度量有任何直觉。

— ub
source

（+1）太棒了！现在，您花了多长时间将所有这些放在一起？

— 主教

@Cardinal这是我上周一失去权力之前读的最后一个问题。在随后的一周中，漫长而黑暗的夜晚为您提供了通过:-)进行思考的机会，并为娱乐目的提供了多个答案。上周末恢复供电后，只需花费一些时间来制作插图并将其全部写下（我承认，这花了比预期更长的时间）。我希望该线程中的某些内容可以作为将来有关随机变量总和的相关问题的参考。

— ub

哇。我希望我可以“喜欢”这个答案。

— Rhubbarb 2012年

哇，这绝对是惊人的。我从未意识到如此简单的问题有多深。我要花点时间来理解你的答案，但是现在，非常感谢！

— 四字神名

我将在评论中违反SE政策，说我们（所有crossvalidate.com）应贿赂您的电力公司以更频繁地切断电力:)

— mpiktas

您可能会说统一随机变量的概率密度函数是有限的，

因此它的积分是统一随机变量的累积密度函数，是连续的，

因此，两个统一随机变量之和的概率密度函数是连续的，

因此它的积分是两个均匀随机变量之和的累积密度函数，是平滑的（连续可微），

因此，三个统一随机变量之和的概率密度函数是平滑的。

— 亨利
source

$n=2$

$n$ $n=3$

— 格雷格·雪诺
source