毕达哥拉斯定理的总方差定律

假设 $X$ 和 $Y$ 具有有限的第二矩。在具有第二个有限矩的随机变量的希尔伯特空间（具有内积 $T_1,T_2$ 由 $E(T_1T_2)$ ， $||T||^2=E(T^2)$ ），我们可以解释 $E(Y|X)$ 作为 $Y$ 在函数空间上的投影 $X$ 。

我们也知道，总方差定律为

V a r (Y) = E (V a r (Y | X)) + V a r (E (Y | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

有没有一种方法可以根据上面的几何图形来解释该定律？有人告诉我定律与边为的直角三角形的勾股定理相同 $Y, E(Y|X), Y-E(Y|X)$ 。我理解为什么三角形是直角的，但不了解勾股定理是如何捕捉总方差定律的。

variance conditional-expectation

— 伦瑟姆仓鼠
source

Answers:

我认为你是舒服关于直角三角形的意思是，并是不相关的随机变量。对于不相关的随机变量和，因此，如果我们将 $E[Y\mid X]$ $Y - E[Y\mid X]$ $A$ $B$

\begin{matrix} （1） & 变种 （ 一种 + 乙 ） = 变种 （ 一种 ） + 变种 （ 乙 ） ， \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$

和

所以

，我们得到

仍然表明

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} （2） & 变种 （ ÿ ） = 变种 （ ÿ - Ë [ÿ ∣ X] ） + 变种 （ Ë [ÿ ∣ X] ） 。 \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

与

因此我们可以将状态

重新声明为

这是总方差公式。

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$

(2)

$(2)$

\begin{matrix} (3) & var (Y) = E [var (Y ∣ X)] + var (E [Y ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

$E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$

Ë [一种] = Ë [ÿ - Ë [ÿ ∣ X]] = Ë [ÿ] - Ë [Ë [ÿ ∣ X]] = 0 ，

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} （4） & 变种 （ ÿ - Ë [ÿ ∣ X] ） = Ë [（ ÿ - Ë [ÿ ∣ X] ）^{2}] 。 \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} （5） & 变种 （ ÿ - Ë [ÿ ∣ X] ） = Ë [C] 。 \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Y - E [Y ∣ X = x])^{2} | X = x] = var (Y ∣ X = x) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C ∣ X]] = E [var (Y ∣ X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$

(5)

$(5)$

var (Y - E [Y ∣ X]) = E [var (Y ∣ X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$

(2)

$(2)$

(3)

$(3)$

— 迪利普·萨瓦特（Dilip Sarwate）
source

Y - E (Y | X)

$Y-E(Y|X)$

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

Dilip，许多概率论者会正确地理解@mpiktas的方程式。通常会删除多余的括号。也许我的眼睛在欺骗我，但我认为他的表达方式始终是一致的。不过，如果需要，我很乐意帮助您解决问题。:-)

— 红衣主教

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

v a r \dots

$var\ldots$

声明：

$T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$

\begin{matrix} （1） & | | Ť_{1个} + Ť_{2} | |^{2} = | | Ť_{1个} | |^{2} + | | Ť_{2} | |^{2} 。 \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$

我们的案例：

$T_1 = E(Y|X)$ $T_2 = Y - E[Y|X]$ $||T_i||^2 = E[T_i^2]$ $\langle T_1,T_2\rangle = E[T_1T_2]$ $(1)$

\begin{matrix} （2） & Ë [ÿ^{2}] = Ë [{Ë （ ÿ | X ）}^{2}] + Ë [（ ÿ - Ë [ÿ | X] ）^{2}] ， \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$

(2)

$(2)$

$(E[Y])^2$ $\operatorname{Var}[Y]$
$E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$
$E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$ 。

有关这三个要点的详细信息，请参见@DilipSarwate的帖子。他比我更详细地解释了这一切。

— 泰勒
source