是否可以具有联合分布不是高斯的一对高斯随机变量？

有人在求职面试中问我这个问题，我回答说，他们的联合分布始终是高斯分布。我以为我总是可以用它们的均值，方差和协方差写一个二元高斯函数。我想知道是否存在两个高斯的联合概率不是高斯的情况？

— 马克·萨伦
source

维基百科的另一个例子。当然，如果变量是独立的并且是边际高斯的，则它们是联合高斯的。

此处的示例wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— 史蒂芬·劳伦

Answers:

138

二元正态分布是例外，而不是规则！

重要的是要认识到，具有正态边际的“几乎所有”关节分布不是二元正态分布。也就是说，通常的观点认为，具有非二元正态的正态边界的联合分布某种程度上是“病理性的”，这是错误的。

当然，由于多元法线在线性变换下的稳定性非常重要，因此在应用中引起了广泛的关注。

例子

从一些示例开始很有用。下图包含六个双变量分布的热图，所有分布均具有标准正态边界。第一行中的左侧和中间是双变量法线，其余的不是（应显而易见的）。它们将在下面进一步描述。

具有标准正态边际的双变量分布示例。

copulas的裸露的骨头

依赖的属性通常使用copulas进行有效分析。甲二元系动词仅仅是在单位正方形的概率分布看上名称与均匀的边缘人。 $[0,1]^2$

假设是一个二元变量。然后，立即从上述情况，我们知道，，和，例如。 $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

我们可以通过对双变量copula进行简单转换，在具有预定边际的欧几里得平面上构建双变量随机变量。设和为一对随机变量边际分布。然后，如果是一个二元copula，则 $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$ 是具有边际

和

的双变量分布函数。要查看最后一个事实，只需注意相同的参数适用于。

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

对于连续的和，Sklar定理断言一个相反的含义，即唯一性。也就是说，给定具有连续边际，的双变量分布，相应的语系是唯一的（在适当的范围空间上）。 $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

二元正态异常

Sklar定理告诉我们（基本上），只有一个copula产生双变量正态分布。恰当地命名为高斯系，其密度为其中分子是在和处评估的具有相关性的双变量正态分布。 $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

但是，还有许多其他系动词，并且都将使用上一节中描述的变换给出具有正态边际的双变量分布，而不是双变量正态。

有关示例的一些细节

请注意，如果是具有密度任意 copula ，则在变换下对应的具有标准正态边际的双变量密度是 $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

注意，通过在上述方程式中应用高斯copula，我们恢复了二元法向密度。但是，对于任何其他选择，我们不会。 $c(u,v)$

图中的示例构造如下（遍历每一行，一次一列）：

具有独立分量的双变量正态。
变量正态。 $\rho = -0.4$
Dilip Sarwate 在此答案中给出的示例。它可以容易地看到由连接函数来诱导与密度。 $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
根据参数从Frank copula生成。 $\theta = 2$
从具有参数的Clayton copula生成。 $\theta = 1$
由参数的Clayton copula的不对称修改生成。 $\theta = 3$

— 红衣主教
source

+1表示二元正态密度是例外情况！

— Dilip Sarwate 2012年

也许我错过了一些东西，但是如果我们从，则将自动定义联合分布，而与任何copula构造无关，并且如果我们应用非对它们的CDF进行高斯copula构造，的确是，我们将获得非高斯CDF，但是此函数通常不会是我们开始的一对随机变量的CDF，对吧？

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— RandomGuy

如右下图所示的模拟示例： library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— 半点通过

@RandomGuy，您缺少一个未声明的假设，即。如果假设它们是独立的，那么是的，您已经知道联合分配。在没有独立性假设的情况下，知道边际分布不会提供足够的信息来指定联合分布。

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune

确实，多元正态向量的每个元素本身都是正态分布的，您可以推断出它们的均值和方差。但是，并非两个瓜斯随机变量都是联合正态分布的。这是一个例子：

编辑：响应于关于可以将点质量的随机变量视为的正态分布变量的共识，我将更改示例。 $\sigma^2=0$

令且，其中是随机变量。也就是说，每个概率为。 $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

我们首先证明具有标准正态分布。 $Y$ 根据总概率定律，

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

下一个，

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

其中是标准普通CDF。同样， $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

因此，

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

因此，的CDF 是，因此。 $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

现在我们证明不是联合正态分布。 $X,Y$ 正如@cardinal所指出的，多元正态的一个特征是其元素的每个线性组合都是正态分布的。没有此属性，因为 $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

因此，是随机变量和点质量为0 的混合物，因此不能正态分布。 $Y+X$ $50/50$ $N(0,4)$

— 巨集
source

我不同意这个答案。处的简并点质量通常被认为是具有零方差的简并高斯随机变量。同样，虽然是勉强连续的，但它们并不是共同连续的。有关两个联合连续随机变量的示例，这些变量是边际高斯的，但不是联合高斯的，请参见此答案的后半部分。

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— Dilip Sarwate

@DilipSarwate，问题是给出两个正态分布的变量（如果存在）的示例（如果存在），但它们的联合分布不是多元正态分布。这是一个例子。正态分布的大多数标准定义（例如wikipedia en.wikipedia.org/wiki/Normal_distribution）都要求方差严格为正，因此不包括点质量作为正态分布族的一部分。

— 2012年

多元高斯的标准特征是是多元高斯，当且仅当是所有高斯。正如@Dilip暗示的那样，值得考虑的是您的示例是否正确。

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— 红衣主教2012年

既然您显然不喜欢对理性的呼吁；-)，那么对权威的呼吁又如何呢？（这是一个玩笑，如果是看不出来的。）在此我刚好纯属偶然，因为我一直在寻找别的东西了：例2.4，GAF Seber和AJ李，第22页线性回归分析，第2位。编，威利。它引用：“让并把 ...因此具有多元正态分布。”

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— 红衣主教

讨论是关于定义的。显然，如果按定义要求协方差矩阵必须是非奇数的，则Macro提供了一个示例，但是根据@cardinal引用的更为宽松的定义，这也不是示例。选择更宽松的定义的一个很好的理由是，所有正常变量的线性变换都是正常的。特别地，在具有正态误差的线性回归中，残差具有联合正态分布，但协方差矩阵是奇异的。

— NRH 2012年

以下文章包含一个证明的概述，以给出主要思想并帮助您入门。

令为两个独立的高斯随机变量，令为 $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

每个，但是由于它们都是相同独立r.vs的线性组合，因此它们是共同依赖的。 $X_i \sim N(\mu_i, \sigma_i^2)$

定义一对r.vs是二元正态分布的，前提是可以将其写为独立正态r.vs的线性组合。 $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

引理如果是双变量高斯变量，则它们的任何其他线性组合还是普通的随机变量。 $x = (X_1, X_2)$

证明。琐碎，跳过不冒犯任何人。

属性如果不相关，则它们是独立的，反之亦然。 $X_1, X_2$

分配 $X_1 | X_2$

假定与以前的高斯r.vs相同，但为简单起见，我们假设它们具有正方差，且均值为零。 $X_1, X_2$

如果是跨越的子空间，则让和。 $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ 和是线性组合，因此也是如此。他们是高斯人，不相关（证明）并且独立。 $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

分解与

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

然后

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

如果条件则两个单变量高斯随机变量共同为高斯和也是高斯的。 $X, Y$ $X | Y$ $Y|X$

— 辅助的
source

尚不清楚这种观察如何回答这个问题。由于乘积规则实际上是条件分布的定义，所以它对双正态分布并不特殊。随后的语句“然后按顺序排列……”并没有提供任何理由：到底为什么条件分布也必须是正态？

— whuber

哇，我在回答一个主要问题：“我想知道是否存在这样一种情况，即两个高斯的联合概率不是高斯吗？”。因此，答案是：当条件不正常时。-辅助

— 辅助

你能完成那个示范吗？目前，这只是您的断言，没有证据。一点也不明显是正确的。它也是不完整的，因为您需要确定存在性：也就是说，您必须证明联合分布实际上可能具有正态边际，但至少有一个条件是非正态的。现在，实际上这是很简单的，因为您可以自由更改一组零值上的双正态的每个条件分布，而无需更改其边际值，但是这种可能性似乎与您的主张相矛盾。

— whuber

嗨@whuber，我希望这会有所帮助。您有任何建议或修改吗？我写得很快，因为目前我没有太多的闲暇时间：-)，但是我很重视您可以提出的任何建议或改进。最佳

— 辅助

（1）您想证明什么？（2）因为问题询问何时具有高斯边际的分布不是共同的高斯分布，所以我看不出该论证如何导致任何相关的问题。

— ub