GLM的归一化变换的推导

15

$\newcommand{\E}{\mathbb{E}}$ 如何是 $A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}$ 正火变换为指数族衍生？

$X$ $h(X)$ $\kappa _i$ $i^{th}$

κ_{3} (h (\bar{X})) \approx h^{'} (μ)^{3} \frac{κ_{3} (\bar{X})}{N^{2}} + 3 h^{'} (μ)^{2} h^{″} (μ) \frac{σ^{4}}{N} + O (N^{- 3}),

$\kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}),$

h (X)

$h(X)$

我的第一个问题是关于算术的：我的泰勒展开式具有不同的系数，我不能证明他们放弃了许多项。

$\begin{aligned} Since h (x) & \approx h (μ) + h^{'} (μ) (x - μ) + \frac{h^{″} (x)}{2} (x - μ)^{2}, we have: \\ h (\bar{X}) - h (u) & \approx h^{'} (u)) (\bar{X} - μ) + \frac{h^{″} (x)}{2} (\bar{X} - μ)^{2} \\ E {(h (\bar{X}) - h (u))}^{3} & \approx h^{'} (μ)^{3} E (\bar{X} - μ)^{3} + \frac{3}{2} h^{'} (μ)^{2} h^{″} (μ) E (\bar{X} - μ)^{4} + \\ \frac{3}{4} h^{'} (μ) h^{″} (μ)^{2} E (\bar{X} - μ)^{5} + \frac{1}{8} h^{″} (μ)^{3} E (\bar{X} - μ)^{6} . \end{aligned}$ $\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ \E\left(h(\bar{X}) - h(u)\right)^3 &\approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \\ &\quad \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. \end{align}$
通过将中心矩替换为累积量等效项，我可以得到类似的结果，但它仍未累加。
第二个问题：为什么解析开始与 $\bar{X}$ ，而不是 $X$ ，数量我们真正关心？

— 亚历克斯
source

你似乎有

u

$u$ 几次，你的意思是

μ

$\mu$

— Glen_b -Reinstate莫妮卡

2

您链接到的幻灯片有些混乱，省略了步骤并做出了一些错别字，但最终都是正确的。这将有助于首先回答问题2，然后回答1，然后最终得出对称变换。 $A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

问题2。我们正在分析因为它是iid随机变量的大小的样本的。这是一个重要的数量，因为在科学中，对相同分布进行采样并取平均值一直都在发生。我们想知道与真实的平均值有多近。中心极限定理说它会收敛到为但是我们想知道的方差和偏度。 $\bar{X}$ $N$ $X_1, ..., X_N$ $\bar{X}$ $\mu$ $\mu$ $N \to \infty$ $\bar{X}$

问题1.您的泰勒级数逼近不是正确的，但是我们需要注意跟踪与和幂，才能得出与幻灯片相同的结论。我们将从的定义和中心矩开始，并得出的公式： $\bar{X}$ $X_i$ $N$ $\bar{X}$ $X_i$ $\kappa_3(h(\bar{X}))$

$\bar{X} = \frac{1}{N}\sum_{i=1}^N X_i$

$\mathbb{E}[X_i] = \mu$

$V(X_i) = \mathbb{E}[(X_i - \mu)^2] = \sigma^2$

$\kappa_3(X_i) = \mathbb{E}[(X_i - \mu)^3]$

现在，的中心时刻： $\bar{X}$

$\mathbb{E}[\bar{X}] = \frac{1}{N}\sum_{i=1}^N \mathbb{E}[X_i] = \frac{1}{N}(N\mu) = \mu$

$\begin{align} V(\bar{X}) &=\mathbb{E}[(\bar{X} - \mu)^2]\\ &=\mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^2]\\ &=\mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^2]\\ &=\frac{1}{N^2}\Big(N\mathbb{E}[(X_i - \mu)^2] + N(N-1)\mathbb{E}[X_i - \mu]\mathbb{E}[X_j - \mu]\Big)\\ &= \frac{1}{N}\sigma^2 \end{align}$

由于，并且因此，执行最后一步。这可能不是的最简单推导，但是它是我们找到和所需的相同过程。，将总和的乘积分解并计算具有不同变量幂的项的数量。在上述情况下，有是那样的形式的条款和的形式的条款。 $\mathbb{E}[X_i - \mu] = 0$ $\mathbb{E}[(X_i - \mu)^2] = \sigma^2$ $V(\bar{X})$ $\kappa_3(\bar{X})$ $\kappa_3(h(\bar{X}))$ $N$ $(X_i - \mu)^2$ $N(N-1)$ $(X_i - \mu)(X_j - \mu)$

$\begin{align} \kappa_3(\bar{X}) &= \mathbb{E}[(\bar{X}-\mu)^3)]\\ &= \mathbb{E}[\Big((\frac{1}{N}\sum_{i=1}^N X_i) - \mu\Big)^3]\\ &= \mathbb{E}[\Big(\frac{1}{N}\sum_{i=1}^N (X_i - \mu)\Big)^3]\\ &= \frac{1}{N^3}\Big(N\mathbb{E}[(X_i - \mu)^3] + 3N(N-1)\mathbb{E}[(X_i - \mu)\mathbb{E}[(X_j - \mu)^2]+N(N-1)(N-2)\mathbb{E}[(X_i - \mu)]\mathbb{E}[(X_j - \mu)]\mathbb{E}[(X_k - \mu)]\\ &= \frac{1}{N^2}\mathbb{E}[(X_i - \mu)^3]\\ &= \frac{\kappa_3(X_i)}{N^2} \end{align}$

接下来，我们将按照泰勒级数展开，如下所示： $h(\bar{X})$

$h(\bar{X}) = h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + \frac{1}{3}h'''(\mu)(\bar{X}-\mu)^3 + ...$

$\begin{align} \mathbb{E}[h(\bar{X})] &= h(\mu) + h'(\mu)\mathbb{E}[\bar{X} - \mu] + \frac{1}{2}h''(\mu)\mathbb{E}[(\bar{X}-\mu)^2] + \frac{1}{3}h'''(\mu)\mathbb{E}[(\bar{X}-\mu)^3] + ...\\ &= h(\mu) + \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} + \frac{1}{3}h'''(\mu)\frac{\kappa_3(X_i)}{N^2} + ...\\ \end{align}$

经过更多的努力，您可以证明其余术语为。最后，由于，（与），我们再次进行类似的计算： $O(N^{-3})$ $\kappa_3(h(\bar{X})) = \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]$ $\mathbb{E}[(h(\bar{X})-h(\mu))^3]$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}[(h(\bar{X})-\mathbb{E}[h(\bar{X})])^3]\\ &=\mathbb{E}\Big[\Big(h(\mu) + h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 + O((\bar{X}-\mu)^3) - h(\mu) - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N} - O(N^{-2})\Big)^3\Big] \end{align}$

我们只对产生顺序的术语感兴趣，通过额外的工作，您可能会发现您不需要术语“ ”或“ ”在获得三次幂之前，因为它们只会产生阶数。因此，简化，我们得到 $O(N^{-2})$ $O((\bar{X}-\mu)^3)$ $- O(N^{-2})$ $O(N^{-3})$

$\begin{align} \kappa_3(h(\bar{X})) &= \mathbb{E}\Big[\Big(h'(\mu)(\bar{X} - \mu) + \frac{1}{2}h''(\mu)(\bar{X}-\mu)^2 - \frac{1}{2}h''(\mu)\frac{\sigma^2}{N})\Big)^3\Big]\\ &=\mathbb{E}\Big[h'(\mu)^3(\bar{X} - \mu)^3 + \frac{1}{8}h''(\mu)^3(\bar{X}-\mu)^6 - \frac{1}{8}h''(\mu)^3\frac{\sigma^6}{N^3} + \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X}-\mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)(\bar{X}-\mu)^5 - \frac{3}{2}h'(\mu)^2h''(\mu)(\bar{X} - \mu)^2\frac{\sigma^2}{N} + O(N^{-3})\Big] \end{align}$

我省略了一些显然是术语。您必须说服自己和是也是如此。然而， $O(N^{-3})$ $\mathbb{E}[(\bar{X}-\mu)^5]$ $\mathbb{E}[(\bar{X}-\mu)^6]$ $O(N^{-3})$

$\begin{align} \mathbb{E}[(\bar{X}-\mu)^4] &= \mathbb{E}[\frac{1}{N^4}\Big(\sum_{i=1}^N(\bar{X}-\mu)\Big)^4]\\ &=\frac{1}{N^4}\Big(N\mathbb{E}[(X_i-\mu)^4] + 3N(N-1)\mathbb{E}[(X_i-\mu)^2]\mathbb{E}[(X_j-\mu)^2] + 0\Big)\\ &=\frac{3}{N^2}\sigma^4 + O(N^{-3}) \end{align}$

然后分配我们的方程在预期，我们有 $\kappa_3(h(\bar{X}))$

$\begin{align}\kappa_3(h(\bar{X})) &= h'(\mu)^3\mathbb{E}[(\bar{X} - \mu)^3] + \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X}-\mu)^4] - \frac{3}{2}h'(\mu)^2h''(\mu)\mathbb{E}[(\bar{X} - \mu)^2]\frac{\sigma^2}{N} + O(N^{-3})\\ &= h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + \frac{9}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} - \frac{3}{2}h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3})\\ &=h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} + O(N^{-3}) \end{align}$

这样就得出。现在，最后，我们将导出对称变换。 $\kappa_3(h(\bar{X}))$ $A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$

对于此转换，重要的是来自指数族分布，尤其是自然指数族（或已转换为该分布），形式为 $X_i$ $f_{X_i}(x;\theta) = h(x)\exp(\theta x - b(\theta))$

在这种情况下，分布的累积量由。因此，和。我们可以将参数作为的函数编写，只需取的倒数，即。然后 $\kappa_k = b^{(k)}(\theta)$ $\mu = b'(\theta)$ $\sigma^2 = V(\theta) = b''(\theta)$ $\kappa_3 = b'''(\theta)$ $\theta$ $\mu$ $b'$ $\theta(\mu) = (b')^{-1}(\mu)$

$\theta'(\mu) = \frac{1}{b''((b')^{-1}(\mu))} = \frac{1}{b''(\theta))} = \frac{1}{\sigma^2}$

接下来，我们可以将方差写为的函数，并将其称为： $\mu$ $\bar{V}$

$\bar{V}(\mu) = V(\theta(\mu)) = b''(\theta(\mu))$

然后

$\frac{d}{d\mu}\bar{V}(\mu) = V'(\theta(\mu))\theta'(\mu) = b'''(\theta)\frac{1}{\sigma^2} = \frac{\kappa_3}{\sigma^2}$

因此，作为的函数，。 $\mu$ $\kappa_3(\mu) = \bar{V}'(\mu)\bar{V}(\mu)$

现在，对于对称变换，我们想通过使来减少的偏度因此为。因此，我们想要 $h(\bar{X})$ $h'(\mu)^3\frac{\kappa_3(X_i)}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N^2} = 0$ $h(\bar{X})$ $O(N^{-3})$

$h'(\mu)^3\kappa_3(X_i) + 3h'(\mu)^2h''(\mu)\sigma^4 = 0$

将和表达式替换为函数，我们有： $\sigma^2$ $\kappa_3$ $\mu$

$h'(\mu)^3\bar{V}'(\mu)\bar{V}(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu)^2 = 0$

因此导致。 $h'(\mu)^3\bar{V}'(\mu) + 3h'(\mu)^2h''(\mu)\bar{V}(\mu) = 0$ $\frac{d}{d\mu}(h'(\mu)^3\bar{V}(\mu)) = 0$

此微分方程的一种解决方案是：

$h'(\mu)^3\bar{V}(\mu) = 1$ ，

$h'(\mu) = \frac{1}{[\bar{V}(\mu)]^{1/3}}$

因此，对于任何常数，。这给我们对称变换，其中是方差为自然指数族中均值的函数。 $h(\mu) = \int_c^\mu \frac{1}{[\bar{V}(\theta)]^{1/3}} d\theta$ $c$ $A(u) = \int_{-\infty}^u \frac{1}{[V(\theta)]^{1/3}} d\theta$ $V$

— 乔纳森·哈恩
source

1

$\blacksquare$ 为什么我无法通过非中心矩近似来得到相同的结果，矩使用近似非中心矩？ $\mathbb{E}\bar{X}^k$ $\mathbb{E}(\bar{X}-\mathbb{E}\bar{X})^k$

因为您可以任意更改推导并删除重要的残差项。如果您不熟悉大的O符号和相关结果，可以参考[Casella＆Lehmann]。

h (\bar{X}) - h (u) \approx h^{'} (u) (\bar{X} - μ) + \frac{h^{″} (x)}{2} (\bar{X} - μ)^{2} + O [(\bar{X} - μ)^{3}]

$h(\bar{X}) - h(u) \approx h'(u)(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 +O[(\bar{X} - \mu)^3]$

E [h (\bar{X}) - h (u)] \approx h^{'} (u) E (\bar{X} - μ) + \frac{h^{″} (x)}{2} E (\bar{X} - μ)^{2} + (?)

$\mathbb{E}[h(\bar{X}) - h(u)] \approx h'(u)\mathbb{E}(\bar{X} - \mu) + \frac{h''(x)}{2}\mathbb{E}(\bar{X} - \mu)^2+(?)$

但是，即使您没有通过争论自己总是在进行（这是不合法的...）来丢弃残留物，也可以执行以下步骤：表示 $N\rightarrow \infty$

\E {(h (\bar{X}) - h (u))}^{3} \approx h^{'} (μ)^{3} \E (\bar{X} - μ)^{3} + \frac{3}{2} h^{'} (μ)^{2} h^{″} (μ) \E (\bar{X} - μ)^{4} + \frac{3}{4} h^{'} (μ) h^{″} (μ)^{2} \E (\bar{X} - μ)^{5} + \frac{1}{8} h^{″} (μ)^{3} \E (\bar{X} - μ)^{6} . (1)

$\E\left(h(\bar{X}) - h(u)\right)^3 \approx h'(\mu)^3 \E(\bar{X}-\mu)^3 + \frac{3}{2}h'(\mu)^2h''(\mu) \E(\bar{X} - \mu)^4 + \frac{3}{4}h'(\mu)h''(\mu)^2 \E(\bar{X}-\mu)^5 + \frac{1}{8}h''(\mu)^3 \E(\bar{X} - \mu)^6. (1)$

\int [h (x) - h (x_{0})]^{3} d x = \int [h^{'} (x_{0}) (x - x_{0}) + \frac{1}{2} h^{″} (x_{0}) (x - x_{0})^{2} + O ((x - x_{0})^{3})]^{3} d x = (1)

$\int [h(x)-h(x_0)]^3dx=\int [h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3dx=(1)$

如果还不清楚，我们可以看到扩展被积数的代数

$[h'(x_0)(x-x_0)+\frac{1}{2}h''(x_0)(x-x_0)^2+O((x-x_0)^3)]^3(2)$

令，， $A=h'(x_0)(x-x_0)$ $B=\frac{1}{2}h''(x_0)(x-x_0)^2$ $C=O((x-x_0)^3)$ $(2)=[A+B+C]^3$ $\color{red}{\neq}[A^3+3A^2 B+3A B^2+B^3]=[A+B]^3=(1)$

您的错误是在扩展之前忽略残基，这是大O表示法中的“经典”错误，后来成为对大O表示法用法的批评。

$\blacksquare$ 为什么分析以而不是我们实际关心的开头？ $\bar{X}$ $X$

因为我们要基于引入的指数模型的足够统计量进行分析。如果您有一个大小为1的样本，则是否使用或进行分析都没有区别。 $\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i$ $X_1$

尽管与GLM不相关，但这是一个很好的大O教训。

参考文献 [Casella＆Lehmann] Lehmann，Erich Leo和George Casella。点估计理论。施普林格科学与商业媒体，2006年。

— 亨利
source