您可以简单地对IRLS方法进行直观的解释，以找到GLM的MLE吗？

背景：

我正在尝试遵循普林斯顿对GLM的MLE估计的评论。

我明白MLE估计的基础：likelihood，score，观察和期望Fisher information与Fisher scoring技术。而且我知道如何用MLE估计来证明简单的线性回归。

---

问题：

我什至不了解这种方法的第一行:(

工作变量定义为以下内容的直觉是什么：$z_i$

$$z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i}$$

为什么用它们代替来估计β？$y_i$$\beta$

它们与的关系response/link function是和μ之间的关系$\eta$$\mu$

如果有人有一个简单的解释，或者可以指导我获得更基本的说明，我将不胜感激。

几年前，我为我的学生（西班牙语）写了一篇有关此的论文，因此我可以尝试在这里重写这些解释。我将通过一系列增加复杂性的示例来研究IRLS（迭代加权最小二乘）。对于第一个示例，我们需要一个位置比例系列的概念。在某种意义上，令为以零为中心的密度函数。我们可以通过定义f （x ）= f （x ; μ ，σ ）= 1来构造一个密度族 $f_0$ ，其中σ>0是比例参数，μ是位置参数。在测量误差模型中，通常将误差项建模为正态分布，我们可以代替正态分布使用上面构建的位置比例系列。当f0是标准正态分布时，上述结构给出N（μ，σ）族。

$$f(x)= f(x;\mu,\sigma)= \frac{1}{\sigma} f_0\left(\frac{x-\mu}{\sigma}\right)$$ $\sigma > 0$$\mu$$f_0$$\text{N}(\mu, \sigma)$

现在，我们将在一些简单示例上使用IRLS。首先，我们将在模型Y 1，Y 2，... ，Y n中找到ML（最大似然）估计量 密度 f （y ）= 1的

$$Y_1,Y_2,\ldots,Y_n \hspace{1em} \text{i.i.d}$$ 柯西分布位置的家庭 μ（因此这是一个位置家族）。但是首先是一些符号。μ的加权最小二乘估计值由 μ ∗ = ∑ n i = 1 w i y $$f(y)= \frac{1}{\pi} \frac{1}{1+(y-\mu)^2},\hspace{1em} y\in{\mathbb R},$$ $\mu$$\mu$ 其中，w ^我是一些权重。我们将看到的ML估计μ可以以相同的形式来表达，w ^我残差的某个函数 ε我=Ÿ我 - μ。 似然函数由 L（y;μ）=（ $$\mu^{\ast} = \frac{\sum_{i=1}^n w_i y_i} {\sum_{i=1}^n w_i}.$$ $w_i$$\mu$$w_i$ $$\epsilon_i = y_i-\hat{\mu}.$$ 和对数似然函数由下式给出 升（Ý）=-ñ日志（π）- ñ Σ我=1个日志（1+（Ý我-μ）2）。 其相对于衍生物μ是 ∂ 升（Ý $$L(y;\mu)= \left(\frac{1}{\pi}\right)^n \prod_{i=1}^n \frac{1}{1+(y_i-\mu)^2}$$ $$l(y)= -n \log(\pi) - \sum_{i=1}^n \log\left(1+(y_i-\mu)^2\right).$$ $\mu$ 其中 ε我=ÿ我-μ。写f0（ϵ）= $$\begin{eqnarray} \frac{\partial l(y)}{\partial \mu}&=& 0-\sum \frac{\partial}{\partial \mu} \log\left(1+(y_i-\mu)^2\right) \nonumber \\ &=& -\sum \frac{2(y_i-\mu)}{1+(y_i-\mu)^2}\cdot (-1) \nonumber \\ &=& \sum \frac{2 \epsilon_i}{1+\epsilon_i^2} \nonumber \end{eqnarray}$$ $\epsilon_i=y_i-\mu$和˚F ' 0（ε）=$f_0(\epsilon)= \frac{1}{\pi} \frac{1}{1+\epsilon^2}$，我们得到 ˚F ' 0（ε$f_0'(\epsilon)=\frac{1}{\pi} \frac{-1\cdot 2 \epsilon}{(1+\epsilon^2)^2}$ 我们发现 ∂ 升（ÿ $$\frac{f_0'(\epsilon)}{f_0(\epsilon)} = \frac{\frac{-1 \cdot2\epsilon}{(1+\epsilon^2)^2}} {\frac{1}{1+\epsilon^2}} = -\frac{2\epsilon}{1+\epsilon^2}.$$ 在这里我们使用的定义 瓦特我= ˚F ' 0（ ε 我 $$\begin{eqnarray} \frac {\partial l(y)} {\partial \mu} & =& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \nonumber \\ &=& -\sum \frac {f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) \cdot (-\epsilon_i) \nonumber \\ &=& \sum w_i \epsilon_i \nonumber \end{eqnarray}$$ 记住的是， ε我=ÿ我-μ我们得到方程 Σ瓦特我Ŷ我=μΣ瓦特我， 这是IRLS的估计方程。注意 $$w_i= \frac{f_0'(\epsilon_i)} {f_0(\epsilon_i)} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{-2 \epsilon_i} {1+\epsilon_i^2} \cdot \left(-\frac{1}{\epsilon_i}\right) = \frac{2}{1+\epsilon_i^2}.$$ $\epsilon_i=y_i-\mu$ $$\sum w_i y_i = \mu \sum w_i,$$

1. 权重始终为正。$w_i$
2. 如果残差很大，我们将给予较少的权重。

$\hat{\mu}^{(0)}$

$$\epsilon_i^{(0)} = y_i - \hat{\mu}^{(0)}$$ $$w_i^{(0)} = \frac{2}{1+\epsilon_i^{(0)} }.$$ $\hat{\mu}$ $$\hat{\mu}^{(1)} = \frac{\sum w_i^{(0)} y_i} {\sum w_i^{(0)} }.$$ $$\epsilon_i^{(j)} = y_i- \hat{\mu}^{(j)}$$ $$w_i^{(j)} = \frac{2}{1+\epsilon_i^{(j)} }.$$ $j+1$ $$\hat{\mu}^{(j+1)} = \frac{\sum w_i^{(j)} y_i} {\sum w_i^{(j)} }.$$ $$\hat{\mu}^{(0)}, \hat{\mu}^{(1)}, \ldots, \hat{\mu}^{(j)}, \ldots$$

现在，我们使用更一般的位置和比例尺族研究此过程$f(y)= \frac{1}{\sigma} f_0(\frac{y-\mu}{\sigma})$$Y_1,Y_2,\ldots,Y_n$$\epsilon_i=\frac{y_i-\mu}{\sigma}$

$$l(y)= -\frac{n}{2}\log(\sigma^2) + \sum \log(f_0\left(\frac{y_i-\mu}{\sigma}\right)).$$ $\nu=\sigma^2$ $$\frac{\partial \epsilon_i}{\partial \mu} = -\frac{1}{\sigma}$$ $$\frac{\partial \epsilon_i}{\partial \nu} = (y_i-\mu)\left(\frac{1}{\sqrt{\nu}}\right)' = (y_i-\mu)\cdot \frac{-1}{2 \sigma^3}.$$ $$\frac{\partial l(y)}{\partial \mu} = \sum \frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial \mu} = \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot\left(-\frac{1}{\sigma}\right)= -\frac{1}{\sigma}\sum\frac{f_o'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right)(-\epsilon_i) = \frac{1}{\sigma}\sum w_i \epsilon_i$$ $\sigma^2$ $$\begin{eqnarray} \frac{\partial l(y)}{\partial \nu} &=& -\frac{n}{2}\frac{1}{\nu} + \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \frac{\partial \epsilon_i}{\partial\nu} \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)} \cdot \left(-\frac{(y_i-\mu)}{2\sigma^3}\right) \nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu} - \frac{1}{2}\frac{1}{\sigma^2} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}-\frac{1}{2}\frac{1}{\nu} \sum\frac{f_0'(\epsilon_i)}{f_0(\epsilon_i)}\cdot \left(-\frac{1}{\epsilon_i}\right) (-\epsilon_i)\cdot\epsilon_i\nonumber \\ &=& -\frac{n}{2}\frac{1}{\nu}+\frac{1}{2}\frac{1}{\nu}\sum w_i \epsilon_i^2 \stackrel{!}{=} 0. \nonumber \end{eqnarray}$$ $$\hat{\sigma^2} = \frac{1}{n}\sum w_i (y_i-\hat{\mu})^2.$$

在下面，我们为双指数模型（已知比例）和数据使用R给出数值示例y <- c(-5,-1,0,1,5)。对于此数据，ML估计量的真实值为0。初始值为mu <- 0.5。算法的一遍是

  iterest <- function(y, mu) {
               w <- 1/abs(y-mu)
               weighted.mean(y,w)
               }

使用此功能，您可以尝试“手动”进行迭代，然后可以通过以下方式完成迭代算法：

mu_0 <- 0.5
repeat {mu <- iterest(y,mu_0)
        if (abs(mu_0 - mu) < 0.000001) break
        mu_0 <- mu }

$t_k$$\sigma$

$$w_i = \frac{k+1}{k+\epsilon_i^2}.$$ $$w(\epsilon) = \frac{ 1-e^\epsilon}{1+e^\epsilon} \cdot - \frac{1}{\epsilon}.$$

目前，我将其保留在此处，我将继续发布该帖子。