方差的线性

16

我认为以下两个公式是正确的：

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ 而a是一个常数如果，独立

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$

X

$X$

Y

$Y$

但是，我不确定以下内容有什么问题：

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ 不等于，即。

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$

4 V a r (X)

$4\mathrm{Var}(X)$

如果假设是从总体中抽取的样本，我想我们总是可以假设与其他 s 独立。 $X$ $X$ $X$

那么我的困惑到底出了什么问题？

variance linearity fallacy

— 兰塞利拜
source

8

方差不是线性的-您的第一条语句显示了这一点（如果是，则将有。另一方面，协方差是双线性的）

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— Batman

Answers:

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

您的推理路线的问题是

“我认为我们总是可以假设与其他独立。” $X$ $X$

$X$ 是不是独立的。此处，符号用于指代相同的随机变量。一旦知道了要在公式中出现的第一个的值，这也将确定要出现的第二个的值。如果希望它们引用不同的（并且可能是独立的）随机变量，则需要用不同的字母（例如和）或使用下标（例如和）来表示它们；后者通常（但不总是）用来表示从同一分布中提取的变量。 $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

如果两个变量和是独立的，则与：知道的值不会为我们提供有关值的任何其他信息。但是为，如果和否则：知道的值为您提供有关的值的完整信息。[您可以用累积分布函数或适当时用概率密度函数代替本段中的概率，以达到基本相同的效果。] $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ $X$

看待事物的另一种方式是，如果两个变量是独立的，然后他们有零相关（虽然零相关性并不意味着独立！），但是完全与自身相关，所以不能独立于自身。注意，由于协方差由，因此 $X$ $\Corr(X,X)=1$ $X$ $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

两个随机变量之和的方差的更通用公式是

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

特别是，因此 $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

这与您应用规则得出的结论相同

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

如果您对线性感兴趣，那么您可能对协方差的双线性感兴趣。对于随机变量，，和（是否依赖或不依赖）和常量，，和我们有 $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

总体而言

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

然后，您可以使用它来证明您在帖子中写出的（非线性）方差结果：

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

作为特殊情况，当，后者给出 $a=b=1$

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

当和不相关（包括它们独立的情况）时，则减小为。因此，如果您想以“线性”方式（通常是代数运算的一种好方法）来处理方差，则可以使用协方差，并利用它们的双线性。 $X$ $Y$ $\Var(X+Y) = \Var(X) + \Var(Y)$

— 蠹虫
source

1

是! 我认为您一开始就指出混淆本质上是一种符号上的混淆。当一本书（非常明确地，有些人可能会费力地讲）解释概率陈述的解释和规则时（例如，即使您知道，其中在技术上是不正确的，如果您考虑将掷入掷骰子（并且不会产生奇数掷骰）；则该事件为使用 iid 正确表示）。

Pr (X + X = n)

$\Pr (X+X=n)$

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$

n

$n$

X + X = 2 X

$X+X=2X$

X_{1}, X_{2}

$X_1,X_2$

— 范德蒙德2015年

1

这是相反的（我觉得我的误解可能从梗）如何2+PRNG(6)+PRNG(6)往往是你会怎么折腾骰子如上和/或符号/公约，如，其中不同实例的真实意图是独立的。

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$

— 范德蒙德2015年

@Vandermonde这是一个有趣的观点。我最初考虑过使用下标来区分“不同的 s”，但并没有打扰-认为我现在可以对其进行编辑。“如果总和是，您将永远不会得到奇数的总分”这一论点非常明确，并且说服了那些看不到需要区分的人：感谢您分享它。

X

$X$

2 X

$2X$

— Silverfish

0

思考它的另一种方式是，用随机变量。 $2X \neq X + X$

$2X$ 将意味着结果的两倍值，而将意味着两个试验。换句话说，是一次掷骰子和将结果翻倍与两次掷骰子的区别。 $X$ $X + X$ $X$

— 本杰明
source

+1这是一个非常清晰正确的答案。欢迎来到我们的网站！

— ub

谢谢@whuber！

— 本杰明

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.