迭代期望定律的推广

43

我最近遇到了这个身份：

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

我当然熟悉该规则的简单版本，即 $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$ 但我无法为其概括找到理由。

如果有人可以为我指出一个非技术性的参考，或者，甚至有人可以为这一重要结果提供简单的证明，我将不胜感激。

self-study conditional-probability conditional-expectation

— 约翰·克
source

2

如果

y

$y$ 本身以某个

为条件，

x

$x$ 那么这岂不是完全不属于简单版本吗？

— Mehrdad 2014年

36

非正式治疗

我们应该记住，我们以随机变量为条件的表示法虽然很经济，但却是不准确的。实际上，我们以这些随机变量生成的sigma-代数为条件。换句话说 $E[Y\mid X]$ 是指平均 $E[Y\mid \sigma(X)]$ 。这句话在“非正式处理”中看起来似乎不合适，但它提醒我们条件实体是集合的集合（当我们以单个值作为条件时，这就是一个单例集合）。这些集合包含什么？它们包含信息随机变量的可能值 $X$ 向我们提供关于实现可能发生的情况 $Y$ 。
引入信息的概念，使我们能够以非常直观的方式考虑（并使用）迭代期望定律（有时称为“塔式属性”）：
由两个随机变量生成的sigma-代数至少为大作为通过一个随机变量产生： $\sigma (X) \subseteq \sigma(X,Z)$ 在适当的集合论的含义。所以信息有关 $Y$ 包含在 $\sigma(X,Z)$ 至少等于的相应信息 $\sigma (X)$ 。
现在，作为记法影射，集合 $\sigma (X) \equiv I_x$ 和 $\sigma(X,Z) \equiv I_{xz}$ 。然后，我们正在看的方程式的LHS可以写成

口头描述上述表达式我们有：“什么是{预期增值的期望所提供的信息给}，我们有可用的信息，只？”

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

我们可以以某种方式“考虑” 吗？不，我们只知道。但是，如果我们使用已有的东西（因为我们想解决的表达式使我们不得不这样做），那么我们本质上就是在期望运算符下说关于事情，即说“ ”，不再是-我们只是用尽了我们的信息。 $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

因此，

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

如果没有其他人，我将返回接受正式治疗。

（更多）正式治疗

让我们看看关于概率论的两本非常重要的书，P。Billingsley的《概率与测度》（第3版，-1995年）和D. Williams的《概率与马丁格莱斯》（1991年），是如何证明“迭代期望法”的：
Billingsley将三行准确地用于证明。威廉姆斯，我引用说

“（塔楼物业）实际上是有条件期望的定义之初”。

那是一行文字。Billingsley的证明并非不透明。

它们当然是对的：条件期望的这一重要且非常直观的属性基本上直接（且几乎立即）来自其定义-唯一的问题是，我怀疑这个定义通常不是在外部概率中讲授的，或者至少不是突出显示的。或衡量理论界。但是为了在（几乎）三行中显示“迭代期望法则”成立，我们需要对条件期望进行定义，或者更确切地说，是对条件期望的定义属性。

让一个概率空间，和一个可积随机变量。让是一个子的代数，。然后存在一个函数，它是可测量的，可积分的（并且这是定义属性） $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

其中是集合的指标函数。我们说是（给定的）的条件期望（“的一个版本”），我们写 $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ 关键的细节，这里要注意的是，条件期望，有相同的预期值不，不只是在整个，但在每一个子集的。 $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

（我现在将尝试介绍Tower属性如何从条件期望的定义中得出）。

是可测量的随机变量。然后考虑一些子代数，说。然后。因此，以与前面类似的方式，我们给定得到的条件期望，即 $W$ $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ 其特点是 $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

由于，方程式和让我们 $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

但这是给定的的条件期望的定义性质。 $Y$ $\mathcal H$ 所以我们有权写由于我们还通过构造，我们只用八行证明了Tower的性质或迭代期望法则的一般形式。 $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— 阿莱科斯·帕帕多普洛斯
source

6

（+1）这是描述抽象和困难概念的有用方法。不过，我认为“ ...不大...”应改为“不小”。更好的是，可以通过消除负值并使用并行构造来使该部分更清楚，如“由两个变量生成的sigma代数至少与由一个随机变量生成的sigma代数一样大...因此包含有关

的信息在

是至少一样大的对应的信息

“。

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— 嘘

谢谢你们，cc @whuber。这是一个非常有用的定理。

— 约翰·K

@ whuber感谢您发现这个问题并提出建议。

— Alecos Papadopoulos'5

24

我了解有条件期望并教我的学生的方式如下：

条件期望是由相机以分辨率拍摄的照片 $E[Y|\sigma(X)]$ $\sigma(X)$

正如Alecos Papadopoulos所提到的，符号比。沿着摄像机的路线，人们可以将视为原始对象，例如风景，风景。是相机用分辨率拍摄的图片。 $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$ 。期望是平均算子（“模糊”算子？）。场景中可能包含很多东西，但是您使用低分辨率的相机拍摄的照片肯定会使某些细节消失，例如，您的肉眼可以看到天空中有不明飞行物，但它并没有出现在由（iphone 3？）拍摄的照片中

如果分辨率如此之高，以至于，则该图片能够捕获真实风景的每个细节。在这种情况下，我们有。 $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

现在，可以将视为：使用分辨率低于（例如iphone 3）的分辨率另一台照相机（例如iphone 3），并在由分辨率为摄像机，则应明确 $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ 这张图片上的图片应该与您最初只是在风景上使用低分辨率的相机相同。 $\sigma(X)$

这提供了关于。实际上，这种直觉告诉我们 $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$ 仍然。这是因为：如果您的第一张照片是由iphone 1拍摄的（即低分辨率），而现在您想使用更好的相机（例如iphone 3）在第一张照片上生成另一张照片，那么您将无法使用可以提高第一张照片的质量。

— 凯文·金
source

2

爱它！:)很好的解释。

— jessica

1

@jessica我很高兴能为您提供帮助：-)我花了一些时间才提出这个解释

— KevinKim

21

在迭代期望法（IIc）的，，即内的期望是一个随机变量这恰好是的函数，说，而不是一个函数。那这个功能的期望恰好等于的期望是一个谎言的结果。挥舞着所有这些，只是断言可以通过对的平均值求平均值 $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ 不同条件下的平均值。实际上，这仅仅是总概率定律的直接结果。例如，如果和是具有联合pmf 离散随机变量，则 $Y$ $X$ $Y$ $p_{X,Y}(x,y)$ 注意，最后期望如何相对于; 是的函数，而不是，但无论如何其平均值是一样的意思。

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$

X

$X$

Y

$Y$

Y

$Y$

广义的谎言，你正在寻找在左侧，其中内期望是一个功能的2个随机变量和。该论点与上面概述的相似，但现在我们必须证明 随机变量等于另一个随机变量。我们通过查看 $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ 当恰巧有值。跳过解释，我们得到 $E[Y\mid X]$ $X$ $x$ 注意，倒数第二个右侧是针对式条件预期值的随机变量的（的函数和）空调上的值。我们将固定为，将随机变量

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$

X

$X$

X

$X$

x

$x$

则由给定

的

的条件pmf值求和。

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

因此，对于随机变量每个值，随机变量（我们前面提到的是的函数，而不是的函数）的值与随机变量的值相同，也就是说，这两个随机变量是相等的。我会骗你吗？ $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— 迪利普·萨瓦特（Dilip Sarwate）
source