使用二阶泰勒级数传播误差

我正在阅读John Rice的文章“数学统计和数据分析”。我们关注随机变量的期望值和方差的近似值。我们能够计算随机变量的期望值和方差，并且我们知道关系。因此，可以使用关于的泰勒级数展开来逼近的期望值和方差。 $Y$ $X$ $Y = g(X)$ $Y$ $g$ $\mu_X$

在第162页上，他列出了3个方程式。

使用一阶泰勒级数展开式的的期望值。它是：。这在我的问题后面称为。 $Y$ $\mu_Y \approx g(\mu_X)$ $E(Y_1)$
使用一阶泰勒级数展开式的的方差。它是：。这在我的问题后面称为。 $Y$ $\sigma_Y^2 \approx \sigma_X^2 (g'(\mu_X))^2$ $Var(Y_1)$
使用二阶泰勒级数展开式的的期望值。它是。在我的问题中稍后将其称为。 $Y$ $\mu_Y \approx g(\mu_X) + \frac12 \sigma_X^2 g''(\mu_X)$ $E(Y_2)$

请注意，有两个不同的表达式， $Y$ 因为我们在泰勒级数展开中使用了两个不同的阶数。等式1和2表示 $Y_1 = g(X) \approx g(\mu_X) + (X-\mu_X)g'(\mu_X)$ 。等式3表示 $Y_2 = g(X) \approx g(\mu_X) + (X-\mu_X)g'(\mu_X) + \frac12 (X-\mu_X)^2 g''(\mu_X)$ 。

注意，没有具体给出的方程 $Var(Y_2)$ 。后来，当作者实际上指的是（公式3）时，作者似乎将其用于的方差 $Y_1$ （公式2 ）。这似乎暗示。 $Y_2$ $Var(Y_2) = Var(Y_1)$

我尝试手动计算，但表达式却变得有些复杂。这是我的工作（我停了下来，因为最终我得到了期望的项）： $Var(Y_2)$ $X^3$

\begin{aligned} V a r (Y_{2}) & = E [(g (μ_{X}) + (X - μ_{X}) a + \frac{1}{2} (X - μ_{X})^{2} b - g (μ_{X}) - \frac{1}{2} σ_{X}^{2} b)^{2}] \\ = E [((X - μ_{X}) a + {(\frac{1}{2} (X - μ_{X})^{2} - \frac{1}{2} σ_{X}^{2}) b)}^{2}] \\ = E [(c a + {(\frac{1}{2} c^{2} - \frac{1}{2} σ_{X}^{2}) b)}^{2}] \\ = E [c^{2} a^{2} + c a (c^{2} - σ_{X}^{2}) b + \frac{1}{4} (c^{2} - σ_{X}^{2})^{2} b^{2}] \\ = E [(X^{2} - 2 X μ_{X} + μ_{X}^{2}) a^{2} + (X - μ_{X}) a ((X^{2} - 2 X μ_{X} + μ_{X}^{2}) - σ_{X}^{2}) b \\ + \frac{1}{4} ((X^{2} - 2 X μ_{X} + μ_{X}^{2}) - σ_{X}^{2})^{2} b^{2}] \end{aligned}

$\begin{aligned} Var(Y_2) &= E[( g(\mu_X) + (X-\mu_X)a + \frac12 (X-\mu_X)^2 b - g(\mu_X) - \frac12 \sigma_X^2 b )^2] \\ &= E\left[((X-\mu_X)a + \left(\frac12 (X-\mu_X)^2 - \frac12 \sigma_X^2)b\right)^2\right] \\ &= E\left[(ca + \left(\frac12 c^2 - \frac12 \sigma_X^2)b\right)^2\right] \\ & = E[c^2 a^2 + ca(c^2 - \sigma_X^2)b + \frac14(c^2-\sigma_X^2)^2 b^2] \\ & = E[(X^2 - 2X \mu_X + \mu_X^2)a^2 + (X-\mu_X)a((X^2 - 2X\mu_X + \mu_X^2) - \sigma_X^2)b \\ & + \frac14((X^2 - 2X\mu_X + \mu_X^2)-\sigma_X^2)^2 b^2] \end{aligned}$

请注意，在以上等式中，，和。什么是？ $a = g'(\mu_X)$ $b = g''(\mu_X)$ $c = X-\mu_X$ $Var(Y_2)$

谢谢。

self-study mathematical-statistics error

— 詹德
source

你为什么在停下来？由于二阶逼近是的二次函数，因此其方差通常将包含矩，直至。第三时刻可能为零，但第四时刻肯定会出现，不会被任何抵消。

X^{3}

$X^3$

X

$X$

X

$X$

2 \cdot 2 = 4

$2 \cdot 2 = 4$

— ub

假设，我们可以使用关于的二阶泰勒展开来得出的近似方差，如下所示： $Y=g(X)$ $Y$ $g(X)$ $\mu_X=\mathbf{E}[X]$

\begin{array}{rcl} V a r [Y] & = & V a r [g (X)] \\ \approx & V a r [g (μ_{X}) + g^{'} (μ_{X}) (X - μ_{X}) + \frac{1}{2} g^{″} (μ_{X}) (X - μ_{X})^{2}] \\ = & (g^{'} (μ_{X}))^{2} σ_{X}^{2} + \frac{1}{4} (g^{″} (μ_{X}))^{2} V a r [(X - μ_{X})^{2}] \\ + g^{'} (μ_{X}) g^{″} (μ_{X}) C o v [X - μ_{X}, (X - μ_{X})^{2}] \\ = & (g^{'} (μ_{X}))^{2} σ_{X}^{2} + \frac{1}{4} (g^{″} (μ_{X}))^{2} E [(X - μ_{X})^{4} - σ_{X}^{4}] \\ + g^{'} (μ_{X}) g^{″} (μ_{X}) (E (X^{3}) - 3 μ_{X} (σ_{X}^{2} + μ_{X}^{2}) + 2 μ_{X}^{3}) \\ = & (g^{'} (μ_{X}))^{2} σ_{X}^{2} \\ + \frac{1}{4} (g^{″} (μ_{X}))^{2} (E [X^{4}] - 4 μ_{X} E [X^{3}] + 6 μ_{X}^{2} (σ_{X}^{2} + μ_{X}^{2}) - 3 μ_{X}^{4} - σ_{X}^{4}) \\ + g^{'} (μ_{X}) g^{″} (μ_{X}) (E (X^{3}) - 3 μ_{X} (σ_{X}^{2} + μ_{X}^{2}) + 2 μ_{X}^{3}) \end{array}

$\begin{eqnarray*} \mathbf{Var}[Y] &=& \mathbf{Var}[g(X)]\\ &\approx& \mathbf{Var}[g(\mu_X)+g'(\mu_X)(X-\mu_X)+\frac{1}{2}g''(\mu_X)(X-\mu_X)^2]\\ &=& (g'(\mu_X))^2\sigma_{X}^{2}+\frac{1}{4}(g''(\mu_X))^2\mathbf{Var}[(X-\mu_X)^2]\\ & & +g'(\mu_X)g''(\mu_X)\mathbf{Cov}[X-\mu_X,(X-\mu_X)^2]\\ &=& (g'(\mu_X))^2\sigma_{X}^{2}+\frac{1}{4}(g''(\mu_X))^2\mathbf{E}[(X-\mu_X)^4-\sigma_{X}^{4}]\\ & & +g'(\mu_X)g''(\mu_X)\left(\mathbf{E}(X^3)-3\mu_X(\sigma_{X}^{2}+\mu_{X}^{2})+2\mu_{X}^{3}\right)\\ &=& (g'(\mu_X))^2\sigma_{X}^{2}\\ & & +\frac{1}{4}(g''(\mu_X))^2\left(\mathbf{E}[X^4]-4\mu_X\mathbf{E}[X^3]+6\mu_{X}^{2}(\sigma_{X}^{2}+\mu_{X}^{2})-3\mu_{X}^{4}-\sigma_{X}^{4}\right)\\ & & +g'(\mu_X)g''(\mu_X)\left(\mathbf{E}(X^3)-3\mu_X(\sigma_{X}^{2}+\mu_{X}^{2})+2\mu_{X}^{3}\right)\\ \end{eqnarray*}$

正如@whuber在评论中指出的那样，可以通过使用的第三和第四中心矩来消除这一点。中心矩定义为。注意。使用这个新的符号，我们得到 $X$ $\mu_k=\mathbf{E}[(X-\mu_X)^k]$ $\sigma_{X}^{2}=\mu_2$

V a r [Y] \approx (g^{'} (μ_{X}))^{2} σ_{X}^{2} + g^{'} (μ_{X}) g^{″} (μ_{X}) μ_{3} + \frac{1}{4} (g^{″} (μ_{X}))^{2} (μ_{4} - σ_{X}^{4})

$\mathbf{Var}[Y]\approx(g'(\mu_X))^2\sigma_{X}^{2}+g'(\mu_X)g''(\mu_X)\mu_3+\frac{1}{4}(g''(\mu_X))^2(\mu_4-\sigma_{X}^{4})$

— 假定正常
source

这是正确的方法，但是您是否忘了包括和之间的协方差？

X - μ_{X}

$X-\mu_X$

(X - μ_{X})^{2}

$(X-\mu_X)^2$

— ub

@whuber是的，我做到了。感谢您指出了这一点。我将尽快对此进行编辑。

— 假定是正常的2011年

通过用第二，第三和第四中心矩，和来写答案，可以省去一些麻烦。您应该获得。

σ^{2}

$\sigma^2$

μ_{3}

$\mu_3$

μ_{4}

$\mu_4$

σ^{2} g^{'} (μ)^{2} + μ_{3} g^{'} (μ) g^{″} (μ) + \frac{1}{4} (μ_{4} - σ^{4}) g^{″} (μ)^{2}

$\sigma^2 g'(\mu )^2 + \mu_3 g'(\mu ) g''(\mu )+\frac{1}{4} \left(\mu_4-\sigma ^4\right) g''(\mu )^2$

— ub

@jrand-我很抱歉。我没有意识到您在原始帖子中有此内容。不过，我不会删除自己的帖子，因为排版需要一段时间。

— 假设正常的2011年

@Max，胡扯：谢谢您的回答和解释。

— jrand 2011年