有条件期望证明作为最佳预测因子的问题

19

我的证明有问题

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

这很可能表明人们对期望和有条件的期望有更深的误解。

我知道的证明如下（此证明的另一个版本可以在这里找到）

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

然后，证明通常以一个论点继续进行，该论证表明 $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ ，因此

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

当时，可以看到最小化 $g(X) = E(Y|X)$ 。

我对证明的困惑如下：

考虑

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ 。

在我看来，独立于任何表明第一项始终等于零的参数，可以看到设置 $g(X) = E(Y|X)$ 会使表达式最小化，因为它暗示了 $\big(E(Y|X) - g(X)\big) =0$ ，因此

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0。

但如果这是真的，那么人们可能会重复的证明代替通过任何其他函数，称，并得到这样的结论：它是最小化的表达。因此，肯定有一些我误会的东西（对吗？）。 $E(Y|X)$ $X$ $h(X)$ $h(X)$

在问题陈述中，我对的含义有疑问。该符号应如何解释？是不是意思 $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ ，或吗？ $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— 马丁·范德·林登
source

11

（这是Granger＆Newbold（1986）“预测经济时间序列”的改编）。

通过构造，您的错误成本函数为。这包含了一个严格的假设（误差成本函数在零附近对称）-不同的误差成本函数不一定具有条件期望值，因为其期望值的。您无法最小化错误成本函数，因为它包含未知数量。因此，您决定将其期望值最小化。然后你的目标函数变成 $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

我相信这也会回答您的第二个问题。这是直观的，预期值将是有条件的，因为我们试图估计/预测基于。分解平方得到 $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

第一项不包含因此它不影响最小化，因此可以忽略。第二项中的积分等于给定的的条件期望值，最后一项中的积分等于1。所以 $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

一阶导数wrt为导致一阶条件最小化而二阶导数等于，这足以达到最小值。 $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

附录：“加减法”证明方法的逻辑。

OP对问题中所述的方法感到困惑，因为它似乎是重言式的。并非如此，因为当使用加减法使目标函数的特定部分为零时，任意选择要加减的项时，它不会使值函数相等，即目标值在候选极小值处评估的函数。

对于选择我们具有值函数对于任意选择我们具有值函数。 $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

我声称

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

LHS和RHS的第一期取消。还要注意，外部期望是基于条件。通过条件期望的性质，我们最终得到 $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ 如果则具有严格的不等式。因此是全局且唯一的最小化器。

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

但这也表明，“加减法”并不是这里最有启发性的证明方式。

— 阿莱科斯·帕帕多普洛斯
source

感谢您的回答。这有助于澄清我的第二个问题。当我试图传达问题的标题时，我的主要问题（帖子中的第一个问题）更多地是关于证明机制。我主要关心的是我对问题中提出的证据的理解。正如我所解释的那样，对证明的理解使我提出了公然有问题的陈述。因此，我想了解我的错误是因为它可能揭示出对期望行为和条件期望的一些更深层次的误解。有什么想法吗？

— Martin Van der Linden

1

我为“加法和减法”方法添加了一些解释。

— Alecos Papadopoulos

花了我一些时间来理解它，但终于有了我的基本错误：足够真实当，但这绝不意味着使表达式最小化。没有理由将括号中的表达式不能小于零。由于前面的减号，人们可以找到一些使得。

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden

1

嗯...您所引用的表达式中的减号是一个错误-它应该是一个加号。您当然可以重新排列条件以再次获得减号...这是否损害了您获得的直觉？

— Alecos Papadopoulos

感谢您关注这个问题。我编辑了最初的帖子以纠正此错误。幸运的是，我认为这不会损害所获得的直觉。实际上，它可以帮助我理解另一个错误：我假设负号对于确保不一定是的最小值。但是我意识到这不仅是2之前的符号。（希望如此）我真正需要理解的是，通常（即对于任意）当（对吗？）时，不需要最小化。

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden

5

请注意，要证明答案，您实际上只需要证明

Ë [- 2 （ ÿ - Ë （ ÿ | X ） ） （ Ë （ ÿ | X ） - G （ X ） ）] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

至于要采取哪种期望，请有条件地采取，否则该术语

精氨酸 \underset{G （ X ）}{分} Ë [（ ÿ - G （ X ） ）^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

这没有意义，因为如果为而不是，则是一个随机变量。显示您应该真正写或来说明这一点。现在，有了这个澄清，术语是一个常数，可以拉到期望值之外，并且您具有： $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 （ Ë （ ÿ | X ） - G （ X ） ） Ë [（ ÿ - Ë （ ÿ | X ） ） | X] = - 2 （ Ë （ ÿ | X ） - G （ X ） ） [Ë （ ÿ | X ） - Ë [Ë （ ÿ | X ） | X]] = - 2 （ Ë （ ÿ | X ） - G （ X ） ） [Ë （ ÿ | X ） - Ë （ ÿ | X ）] = 0

因此，您可以将目标函数编写为：

Ë_{ÿ | X} [（ ÿ - G （ X ） ）^{2}] = Ë_{ÿ | X} [（ ÿ - Ë_{ÿ | X} （ ÿ | X ） ）^{2}] + （ Ë_{ÿ | X} （ ÿ | X ） - G （ X ） ）^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

从这里可以看出最小化。请注意，如果还要对求平均值，则可以使用非常相似的参数来显示： $X$

Ë_{X} [（ Ë （ ÿ | X ） - G （ X ） ）^{2}] = Ë_{X} [（ Ë_{ÿ | X} （ ÿ | X ） - Ë_{X} [Ë_{ÿ | X} （ ÿ | X ）] ）^{2}] + （ Ë_{X} [Ë_{ÿ | X} （ ÿ | X ）] - Ë_{X} [G （ X ）] ）^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

这表明如果为每个设置，那么您对该函数也将具有最小化要求。因此，从某种意义上说，是还是并不重要。 $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— 概率逻辑
source

3

有一种非常简单的数学观点。您所拥有的是希尔伯特空间中的投影问题，就像将的向量投影到子空间上一样。 $\mathbb{R}^n$

令表示潜在的概率空间。为了使问题有意义，请考虑具有有限第二矩的随机变量，即希尔伯特空间。现在的问题是：给定，找到在子空间上的投影，其中是生成的的 -sub代数。（就像在有限维情况下一样，将到子空间的距离最小化意味着找到投影）。所需的投影是 $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ ，通过构造。（如果检查存在的证据，这实际上表征）。 $E(X|Y)$

— 麦可
source

这是一个很好的回应。

— 2015年

0

关于最后一个问题，期望可以是wrt（无条件误差）或wrt（每个值的条件误差）。令人高兴的是，在每个值处将条件误差最小化也将无条件误差最小化，因此这不是关键的区别。 $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— 乌利斯·布拉加·内托
source