什么是独立背后的直觉和，？

18

我希望有人提出一个论点，解释为什么随机变量和（具有标准正态分布的在统计上是独立的。MGF技术很容易证明这一事实，但是我发现这非常违反直觉。 $Y_1=X_2-X_1$ $Y_2=X_1+X_2$ $X_i$

因此，如果有任何直觉，我将不胜感激。

先感谢您。

编辑：下标不表示订单统计，而是来自标准正态分布的IID观察值。

probability self-study mathematical-statistics

— 约翰·克
source

什么是“ MGF技术”？

— 变形虫说恢复莫妮卡

@amoeba它是使用矩生成函数来确定随机变量的分布的。在我的情况下，我指的是定理该

Y_{1}

$Y_1$ 和

Y_{2}

$Y_2$ 是独立的，当且仅当

M (t_{1}, t_{2}) = M (t_{1}, 0) \times M (0, t_{2})

$M(t_1,t_2)=M(t_1,0) \times M(0,t_2)$ ，

M (t_{1}, t_{2})

$M(t_1,t_2)$ 等于

。选择任何其他技术，我相信您将获得相同的结果。

E (e^{t_{1} Y_{1} + t_{2} Y_{2}})

$E(e^{t_1Y_1+t_2Y_2})$

— 约翰·K，2014年

1

您可以在stats.stackexchange.com/questions/71260的密切相关的线程中找到一些见解。

— ub

如果在每个

加上一个常量，例如

，您可能会通过考虑这些变量会发生什么而得到一些直觉。会发生什么，如果你乘每个

一个常数，说

μ

$\mu$

X

$X$

X

$X$

σ

$\sigma$

— RVL

1

密切相关：高度相关变量的和与差几乎不相关的参考。

— gung-恢复莫妮卡

22

这是标准的正态分布数据：第一坐标系中的散点图请注意，分布是圆形对称的。

切换到和，可以有效地旋转和缩放轴，如下所示：此新坐标系与原始坐标系具有相同的原点，并且轴正交的。由于圆对称性，变量在新坐标系中仍然是独立的。 $Y_1 = X_2 - X_1$ $Y_2 = X_1 + X_2$ 旋转坐标系的散点图

— 多比万
source

4

即使

和

与单位法向边距相关，该结果也适用。因此，您的解释仅涵盖原始结果的一小部分。但是，这里的基本思想是合理的。

X_{1}

$X_1$

X_{2}

$X_2$

— Glen_b-恢复莫妮卡2014年

1

@Glen_b，是的，您是对的。我想专注于一个简单的案例，因为JohnK似乎已经知道如何证明一般案例，但是缺乏直观的理解。

— dobiwan 2014年

7

结果作品共同正常（即具有相关性，），用共同的。 $(X_1,X_2)$ $-1<\rho<1$ $\sigma$

如果您知道几个基本结果，那么这就是您所需要的：

$\quad\quad\quad$ 在此处输入图片说明

dobiwan的方法本质上很好-只是结果比那里处理的案例更笼统。

— Glen_b-恢复莫妮卡
source

3

+1可将所需结果简化为基本要素。对于具有不等方差的关节正态性的更一般情况，我将添加轴旋转

，而不是

θ = \frac{1}{2} \arctan (\frac{2 ρ \cdot σ_{1} σ_{2}}{σ_{1}^{2} - σ_{2}^{2}})

$\theta = \frac{1}{2}\arctan\left ( \frac{2\rho\cdot\sigma_1\sigma_2}{\sigma_1^2 - \sigma_2^2}\right )$

隐含在

产生独立的正态随机变量。

\pm \frac{π}{4}

$\pm \frac{\pi}{4}$

(X_{1}, X_{2}) \to (X_{1} + X_{2} . X_{1} - X_{2})

$(X_1,X_2) \to (X_1+X_2. X_1-X_2)$

— Dilip Sarwate 2014年

6

当你声称自己是真正的结果是不一般，甚至没有为案件真实一切所知道的是，和都具有相同的方差正常的随机变量，但结果确实保持了平常的状态的解释您稍后说： $X_1$ $X_2$

下标不是指示顺序统计，而是来自标准正态分布的观察结果。

当然，此语句中最后几个词的通常解释是，和是独立的 （正常）随机变量，因此共同是正常随机变量。 $X_1$ $X_2$

对于具有相同方差的联合正态随机变量，确实和是独立的（正态）随机变量（通常具有不相等的方差），对此最好给出直观的解释在Glen_b的回答中。对于和也独立的特殊情况，您已经接受的dobiwan答案是最简单的，并且确实揭示了轴的任何旋转，而不仅仅是 $X_1+X_2$ $X_1-X_2$ $X_1$ $X_2$ 隐含在变换，将产生独立的随机变量。 $\pm \frac{\pi}{4}$ $(X_1,X_2)\to (X_1+X_2, X_1-X_2)$

一般说什么？在下面我要说的所有内容中，请记住，无论和具有相同的方差，无论其他属性可能归因于它们。 $X$ $Y$

如果和是具有相同方差的任何随机变量（请注意：不一定是正态），则和是不相关的随机变量（即，它们的协方差为零）。这是因为协方差函数是双线性的： $X$ $Y$ $X+Y$ $X-Y$ 这里，我们使用以下事实：是刚刚方差的（以及类似地用于），当然，。请注意，这个结果保存在和是（略）正常的随机变量，但不一定联合

\begin{aligned} cov (X + Y, X - Y) & = cov (X, X) - cov (X, Y) + cov (Y, X) - cov (Y, Y) \\ = var (X) - cov (X, Y) + cov (X, Y) - var (Y) \\ = 0. \end{aligned}

$\begin{align} \operatorname{cov}(X+Y, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) + \operatorname{cov}(Y,X) - \operatorname{cov}(Y,Y)\\ &= \operatorname{var}(X) - \operatorname{cov}(X,Y) + \operatorname{cov}(X,Y) - \operatorname{var}(Y)\\ &= 0. \end{align}$

cov (X, X)

$\operatorname{cov}(X,X)$

var (X)

$\operatorname{var}(X)$

X

$X$

Y

$Y$

cov (Y, X) = cov (X, Y)

$\operatorname{cov}(Y,X) = \operatorname{cov}(X,Y)$

X

$X$

Y

$Y$ 正常随机变量。（如果您不熟悉边缘正常性与联合正常性不同的概念，请参见枢机主教的很好回答）。在当特殊情况

和

是共同正常的（但不一定是独立的）正常的随机变量，所以是

和

联合正常的，因为它们的协方差为

，

和

是独立的随机变量。

X

$X$

Y

$Y$

X + Y

$X+Y$

X - Y

$X-Y$

0

$0$

X + Y

$X+Y$

X - Y

$X-Y$

— 迪利普·萨瓦特（Dilip Sarwate）
source

2

$X_1,X_2$ $Y_1$ $Y_2$ $0$ $Y_1,Y_2$

条件均值

$X_1+X_2=y$ $X_1=x, X_2 = y-x$ $X_1 = y-x, X_2=x$

$X_1$ and $X_2$ have identical distribution and $X_1+X_2$ is symmetric with respect to the indexing. Thus, for symmetry reasons, the conditional distribution $X_1 \mid Y_2 = y$ must be equal to the conditional distribution $X_2 \mid Y_2 = y$ . Hence, the conditional distributions also have the same mean, and

E (Y_{1} ∣ Y_{2} = y) = E (X_{1} - X_{2} ∣ X_{1} + X_{2} = y) = E (X_{1} ∣ X_{1} + X_{2} = y) - E (X_{2} ∣ X_{1} + X_{2} = y) = 0.

$\begin{equation} \mathbb{E}(Y_1 \mid Y_2 = y) = \mathbb{E}(X_1 - X_2 \mid X_1+X_2 = y) \\ = \mathbb{E}(X_1 \mid X_1+X_2 = y) - \mathbb{E}(X_2 \mid X_1+X_2 = y)= 0. \end{equation}$

(Caveat: I did not consider the possibility that the conditional mean might not exist.)

Constant conditional mean implies zero correlation/covariance

Intuition: correlation measures how much $Y_1$ tends to increase when $Y_2$ increases. If observing $Y_2$ never changes our mean of $Y_1$ , $Y_1$ and $Y_2$ are uncorrelated.

Proof: By definition, covariance is

C o v (Y_{1}, Y_{2}) = E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2}))]

$\begin{equation} Cov(Y_1,Y_2) = \mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right)\right] \end{equation}$ to this expectation, we apply the law of iterated expectations: take the expectation of the conditional expectation conditional on

Y_{2}

$Y_2$ :

= E [E [(Y_{1} - E (Y_{1})) (Y_{2} - E (Y_{2})) ∣ Y_{2}]] = E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1}) ∣ Y_{2}]] .

$\begin{equation} = \mathbb{E}\left[\mathbb{E}\left[\left(Y_1 - \mathbb{E}(Y_1)\right)\left(Y_2 -\mathbb{E}(Y_2) \right) \mid Y_2\right]\right] = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1 - \mathbb{E}(Y_1) \mid Y_2\right] \right]. \end{equation}$ Recall that the conditional mean was shown to be independent of

Y_{2}

$Y_2$ and thus the expression simplifies as

= E [(Y_{2} - E (Y_{2})) E [Y_{1} - E (Y_{1})]]

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\mathbb{E}\left[Y_1-\mathbb{E}(Y_1)\right]\right] \end{equation}$ but the inner expectation is

0

$0$ and we get

= E [(Y_{2} - E (Y_{2})) \times 0] = 0.

$\begin{equation} = \mathbb{E}\left[(Y_2 - \mathbb{E}(Y_2))\times0\right] = 0. \end{equation}$

Independence

Just by assuming identical distributions for $X_1,X_2$ , it was shown that $Y_1$ and $Y_2$ are uncorrelated. When $X_1,X_2$ are jointly normal (for example, iid. normal as in the question), their linear combinations $Y_1,Y_2$ are also jointly normal and thus uncorrelatedness implies independence.

— Juho Kokkala
source