伽玛分布与正态分布之间的关系

我最近发现有必要为平均值为0的正常随机变量的平方导出pdf。无论出于什么原因，我都选择不预先对方差进行归一化。如果我正确执行此操作，则此pdf如下：

N^{2} (x; σ^{2}) = \frac{1}{σ \sqrt{2 π} \sqrt{x}} e^{\frac{- x}{2 σ^{2}}}

$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$

我注意到这实际上只是伽马分布的参数化：

N^{2} (x; σ^{2}) = Gamma (x; \frac{1}{2}, 2 σ^{2})

$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$

然后，从两个伽玛（具有相同比例参数）的总和等于另一个伽玛的事实出发，可以得出该伽玛等于平方正态随机变量的总和。 $k$

N_{Σ}^{2} (x; k, σ^{2}) = Gamma (x; \frac{k}{2}, 2 σ^{2})

$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$

这让我有些惊讶。即使我知道分布（即标准正态RV 平方和的分布）是伽玛的一种特例，但我没有意识到伽玛本质上只是一个允许归纳和任何方差的随机变量。这也导致了我以前从未遇到过的其他特征，例如指数分布等于两个平方正态分布之和。 $\chi^2$

这对我来说有点神秘。以我上面概述的方式，正态分布对伽马分布的推导至关重要吗？我检查的大多数资源都没有提到这两个分布在本质上是相关的，甚至就此而言，它还描述了伽玛的推导方式。这使我认为有些简单的事实正在发挥作用，我只是以复杂的方式强调了这些事实？

normal-distribution gamma-distribution

— timxyz
source

许多有关概率论的大学教科书都提到了上述所有结果；但是也许统计文本没有涵盖这些想法？无论如何，随机变量只是，其中是标准的普通随机变量，因此（对于iid变量）只是一个缩放的随机变量，对于那些研究概率论的人来说并不奇怪。

N (0, σ^{2})

$N(0,\sigma^2)$

Y_{i}

$Y_i$

σ X_{i}

$\sigma X_i$

X_{i}

$X_i$

\sum_{i} Y_{i}^{2} = σ^{2} \sum_{i} X_{i}^{2}

$\sum_i Y_i^2 = \sigma^2 \sum_i X_i^2$

χ^{2}

$\chi^2$

— Dilip Sarwate 2012年

我来自计算机视觉背景，因此通常不会遇到概率论。我的教科书（或维基百科）都没有提到这种解释。我想我也在问，两个正态分布的平方和有什么特别之处，这使其成为等待时间的良好模型（即指数分布）。仍然感觉像我在想一些更深的东西。

— timxyz 2012年

由于Wikipedia 在en.wikipedia.org/wiki/Chi-squared_distribution#Definition上将卡方分布定义为法线平方的总和，并且提到卡方是Gamma的特例（en.wikipedia.org/wiki / Gamma_distribution＃Others），几乎无法断言这些关系不是众所周知的。在所有情况下，方差本身仅建立度量单位（比例参数），因此根本不增加任何复杂性。

— ub

尽管这些结果在概率和统计领域是众所周知的，但您对@timxyz做得很好，可以在您自己的分析中重新发现它们。

— 恢复莫妮卡

这种联系并不是神秘的，因为它们是指数分布族的成员，其显着特性是可以通过替换变量和/或参数来获得它们。请参阅以下示例的详细答案。

— 卡尔

Answers:

正如Sarwate教授的评论所指出的，法线平方和卡方之间的关系是一个非常广泛传播的事实-卡方只是Gamma分布的特例，这也应成为事实：

X \sim N (0, σ^{2}) \Rightarrow X^{2} / σ^{2} \sim χ_{1}^{2} \Rightarrow X^{2} \sim σ^{2} χ_{1}^{2} = Gamma (\frac{1}{2}, 2 σ^{2})

$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$

Gamma的scale属性之后的最后一个等式。

关于与指数的关系，准确地说，是两个平方的零均值法线的总和，每个法线均由另一个的方差缩放，从而得出指数分布：

X_{1} \sim N (0, σ_{1}^{2}), X_{2} \sim N (0, σ_{2}^{2}) \Rightarrow \frac{X_{1}^{2}}{σ_{1}^{2}} + \frac{X_{2}^{2}}{σ_{2}^{2}} \sim χ_{2}^{2} \Rightarrow \frac{σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2}}{σ_{1}^{2} σ_{2}^{2}} \sim χ_{2}^{2}

$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$

\Rightarrow σ_{2}^{2} X_{1}^{2} + σ_{1}^{2} X_{2}^{2} \sim σ_{1}^{2} σ_{2}^{2} χ_{2}^{2} = Gamma (1, 2 σ_{1}^{2} σ_{2}^{2}) = Exp (\frac{1}{2 σ_{1}^{2} σ_{2}^{2}})

$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$

但怀疑有“一些特别的东西”，或者两种总和“更深” 的平方零个均值法线说：“让他们一个很好的模型，等待时间”是没有根据的：首先，有什么特别之处指数分布，使它是“等待时间”的好模型吗？当然没有记忆力了，但是这里有什么“更深的”东西，或者仅仅是指数分布函数的简单函数形式以及的属性？独特的属性散布在整个数学中，并且在大多数情况下，它们不反映某些“更直观的理解”或“结构”，它们只是存在（幸运地）。 $e$

其次，变量的平方与其水平几乎没有关系。只需考虑 in，例如： $f(x) = x$ $[-2,\,2]$

在此处输入图片说明

…或将标准法线密度与卡方密度作图：尽管它们密切相关，但它们反映并代表了完全不同的随机行为，因为第二个是变量的密度，即第一个的平方。法线可能是我们为随机行为建模而开发的数学系统的一个非常重要的支柱-但是，一旦将其平方，它就完全不一样了。

— 阿莱科斯·帕帕多普洛斯
source

感谢您特别解决我上一段中的问题。

— timxyz 2014年

别客气。我必须承认，我很高兴我的回答在问题发布26个月后就达到了最初的OP。

— Alecos Papadopoulos 2014年

让我们解决提出的问题，这对我来说有点神秘。正态分布是伽马分布推导的基础吗？确实不是一个谜，只是正态分布和伽马分布是指数分布族的成员，该族由通过替换参数和/或变量在方程形式之间转换的能力定义。因此，有许多的转换通过置换分布之间，一个几其中总结如下图。

LEEMIS，劳伦斯·M。Jacquelyn T.MCQUESTON（2008年2月）。“单变量分布关系”（PDF）。美国统计学家。62（1）：45–53。doi：10.1198 / 000313008x270448 引用

这是两个更详细的正态分布和伽马分布关系（在其他数量未知的分布中，如通过卡方和贝塔分布）。

首先，是伽马分布（GD）与正态分布（ND）之间的直接关系，均值为零。简而言之，随着GD形状参数的增加，它的形状变得正常。证明情况确实如此。对于GD，

GD (z; a, b) = \begin{array}{cc} {\begin{cases} \frac{b^{- a} z^{a - 1} e^{- \frac{z}{b}}}{Γ (a)} & z > 0 \\ 0 & other \end{cases} . \end{array}

$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$

随着GD形状参数，GD形状变得更加对称和法线，但是，随着平均值随增加而增加，我们必须将GD左移持有它固定，最后，如果我们希望保持同样的标准偏差为我们的移动GD，我们必须减少尺度参数（）成正比。 $a\rightarrow \infty$ $a$ $(a-1) \sqrt{\dfrac{1}{a}} k$ $b$ $\sqrt{\dfrac{1}{a}}$

也就是说，要将GD转换为极限情况ND，我们通过让并将GD左移，将标准偏差设置为常数（）。代入的零模式然后 $k$ $b=\sqrt{\dfrac{1}{a}} k$ $z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

GD ((a - 1) \sqrt{\frac{1}{a}} k + x; a, \sqrt{\frac{1}{a}} k) = \begin{array}{cc} {\begin{cases} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} & x > \frac{k (1 - a)}{\sqrt{a}} \\ 0 & other \end{cases} \end{array} .

$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$

请注意，在极限为中，此GD的非负值是非零。即，半无限 GD支持变为无限。将极限作为重新参数化的GD，我们发现 $a\rightarrow\infty$ $x$ $\rightarrow -\infty$ $a\rightarrow \infty$

lim_{a \to \infty} \frac{{(\frac{k}{\sqrt{a}})}^{- a} e^{- \frac{\sqrt{a} x}{k} - a + 1} {(\frac{(a - 1) k}{\sqrt{a}} + x)}^{a - 1}}{Γ (a)} = \frac{e^{- \frac{x^{2}}{2 k^{2}}}}{\sqrt{2 π} k} = ND (x; 0, k^{2})

$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$

对于和，图形方式显示GD为蓝色，而限制为橙色，下面 $k=2$ $a=1,2,4,8,16,32,64$ $\text{ND}\left(x;0,\ 2^2\right)$

其次，我们要指出的是，由于这些分布之间形式的相似性，人们可以通过将它们从稀薄的空气中抽出而在很大程度上发展伽玛分布与正态分布之间的关系。也就是说，我们接下来开发正态分布的“展开”伽玛分布概化。

首先请注意，是伽马分布的半无限支持阻碍了与正态分布的更直接关系。但是，在考虑半正态分布时也可以消除该障碍，该分布也具有半无限的支持。因此，可以先将正态分布（ND）折叠成半正态（HND），然后将其与广义伽马分布（GD）关联起来，然后将其 “展开”（HND和GD）从而形成广义ND（GND）。

广义伽玛分布

GD (x; α, β, γ, μ) = \begin{array}{cc} {\begin{cases} \frac{γ e^{- {(\frac{x - μ}{β})}^{γ}} {(\frac{x - μ}{β})}^{α γ - 1}}{β Γ (α)} & x > μ \\ 0 & other \end{cases} \end{array},

$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$

可以重新参数化为半正态分布，

GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) = \begin{array}{cc} {\begin{cases} \frac{2 θ e^{- \frac{θ^{2} x^{2}}{π}}}{π} & x > 0 \\ 0 & other \end{cases} \end{array} = HND (x; θ)

$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$

请注意，因此， $\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

ND (x; 0, σ^{2}) = \frac{1}{2} HND (x; θ) + \frac{1}{2} HND (- x; θ) = \frac{1}{2} GD (x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0) + \frac{1}{2} GD (- x; \frac{1}{2}, \frac{\sqrt{π}}{θ}, 2, 0),

$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$

这意味着

\begin{aligned} GND (x; μ, α, β) & = \frac{1}{2} GD (x; \frac{1}{β}, α, β, μ) + \frac{1}{2} GD (- x; \frac{1}{β}, α, β, μ) \\ = \frac{β e^{- {(\frac{| x - μ |}{α})}^{β}}}{2 α Γ (\frac{1}{β})} \end{aligned},

$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$

是正态分布的一般化，其中是位置，是比例，并且是形状，其中产生正态分布。当时，它包括Laplace分布。随着，密度逐点收敛到上的均匀密度。下面是的蓝色正态分布，正常情况下为（橙色）。 $\mu$ $\alpha>0$ $\beta>0$ $\beta=2$ $\beta=1$ $\beta\rightarrow\infty$ $(\mu-\alpha,\mu+\alpha)$ $\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$ $\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

可以将以上内容视为广义正态分布版本1，并在不同的参数化中将其称为指数幂分布和广义误差分布，这又是其他几种广义正态分布之一。

— 卡尔
source

从正态分布推导卡方分布与从指数分布推导伽马分布非常相似。

我们应该可以将其概括为：

如果是来自幂系数为的广义正态分布的自变量，则可以与某个缩放的卡方分布有关（“自由度”等于）。 $X_i$ $m$ $Y = \sum_{i}^n {X_i}^m$ $n/m$

类比如下：

正态分布和卡方分布与平方和有关

多个独立标准正态分布变量的联合密度分布取决于 $\sum x_i^2$
$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$
如果 $X_i \sim N(0,1)$

然后 $\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

指数和伽马分布与正则和有关

多个独立指数分布变量的联合密度分布取决于 $\sum x_i$

$f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$
如果 $X_i \sim Exp(\lambda)$

然后 $\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

可以通过更改变量而不是对所有积分而仅对求和项积分（这是皮尔森在1900年所做的）来完成推导。在两种情况下，这都非常相似。 $x_1,x_2,...x_n$

对于分布： $\chi^2$

\begin{array}{rcl} f_{χ^{2} (n)} (s) d s & = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{d V}{d s} d s \\ = & \frac{e^{- s / 2}}{{(2 π)}^{n / 2}} \frac{π^{n / 2}}{Γ (n / 2)} s^{n / 2 - 1} d s \\ = & \frac{1}{2^{n / 2} Γ (n / 2)} s^{n / 2 - 1} e^{- s / 2} d s \end{array}

$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$

其中是半径为平方的n球的n维体积。 $V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$ $s$

对于伽马分布：

\begin{array}{rcl} f_{G (n, λ)} (s) d s & = & \frac{e^{- λ s}}{λ^{- n}} \frac{d V}{d s} d s \\ = & \frac{e^{- λ s}}{λ^{- n}} n \frac{s^{n - 1}}{n!} d s \\ = & \frac{λ^{n}}{Γ (n)} s^{n - 1} e^{- λ s} d s \end{array}

$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$

其中是的n多面体的n维体积。 $V(s) = \frac{s^n}{n!}$ $\sum x_i < s$

伽马分布可以看作是泊松过程中第个事件的等待时间，它是指数分布变量之和的分布。 $Y$ $n$ $n$

正如Alecos Papadopoulos所指出的那样，没有更深层次的联系使平方正态变量的和成为“等待时间的良好模型”。伽玛分布是广义正态分布变量之和的分布。这就是两者在一起的方式。

但是总和的类型和变量的类型可能不同。当伽马分布从指数分布（p = 1）导出时，可以得到指数分布（等待时间）的解释，但是您不能反向并返回平方高斯变量的总和并使用相同的解释。

等待时间的密度分布呈指数下降，高斯误差的密度分布呈指数下降（平方）。这是看到两者相互联系的另一种方式。

— 天性
source