在简单线性回归中，残差方差的公式从何而来？

根据我正在使用的文本，第残差的方差公式为： $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

我发现这难以置信，因为第残差是第观测值与第拟合值之间的差。如果要计算差异的方差，那么至少我会期望结果表达式中有些“加”。任何理解推导的帮助将不胜感激。 $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— 埃里克
source

文本中的某些“ ”符号是否可能被错误地渲染（或误读）为“ ”符号？

+

$+$

-

$-$

— ub

我曾以为这样，但是在文本中却发生了两次（2个不同的章节），所以我认为这不太可能。当然，公式的推导会有所帮助！:)

— Eric

负数是观察值与其拟合值之间正相关的结果，从而减小了差异。

— Glen_b-恢复莫妮卡2014年

@Glen感谢您解释为什么事实证明该公式以及下面的矩阵推导是有意义的。

— 埃里克

关于“加号”的直觉与方差有关（即使我们计算独立随机变量差的方差，我们也要加上它们的方差）是正确的，但致命的是不完整的：如果所涉及的随机变量不是独立的，则还涉及协方差-并且协方差可能为负。存在一个表达式，几乎就像问题中的表达式被OP（和我）认为是“应该”那样，并且它是预测误差的方差，表示为，其中： $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

预测误差的方差与估计误差的方差（即残差）之间的关键差异在于，由于在构造时未使用值，因此预测观测值的误差项与估计量不相关。估算器并计算估算值，即样本外值。 $y^0$

两者的代数以完全相同的方式进行到一个点（使用而不是），但随后发散。特别： $^0$ $_i$

在简单的线性回归，，的估计方差仍然 $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

我们有

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

所以

{（ X^{'} X ）}^{- 1个} = [\begin{matrix} \sum X_{一世}^{2} & - \sum X_{一世} \\ - \sum X_{一世} & ñ \end{matrix}] \cdot {[ñ \sum X_{一世}^{2} - {（ \sum X_{一世} ）}^{2}]}^{- 1个}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

我们有

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x X}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

所以

{（ X^{'} X ）}^{- 1个} = [\begin{matrix} （ 1个 / ñ ） \sum X_{一世}^{2} & - \bar{X} \\ - \bar{X} & 1个 \end{matrix}] \cdot （ 1个 / {小号}_{X X} ）

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

意思就是

Var （ {\hat{β}}_{0} ） = σ^{2} （ \frac{1个}{ñ} \sum X_{一世}^{2} ） \cdot （ 1个 / {小号}_{X X} ） = \frac{σ^{2}}{ñ} \frac{{小号}_{X X} + ñ {\bar{X}}^{2}}{{小号}_{X X}} = σ^{2} （ \frac{1个}{ñ} + \frac{{\bar{X}}^{2}}{{小号}_{X X}} ）

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var （ {\hat{β}}_{1个} ） = σ^{2} （ 1个 / {小号}_{X X} ）

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

冠状病毒 （ {\hat{β}}_{0} ， {\hat{β}}_{1个} ） = - σ^{2} （ \bar{X} / {小号}_{X X} ）

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

第个残差定义为 $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

实际系数被视为常数，回归量是固定的（或条件在其上），并且具有零协方差与误差项，但该估计与误差项相关，因为估计含有因变量，以及因变量包含错误项。所以我们有

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

打包一点以获得

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

在大括号中的项具有完全相同的结构与预测误差的变化，唯一的变化是，与其，我们将有（和方差将是该，而不是）。最后协方差项为预测误差为零，因为，因此是不包括在所述估计的，但不是零的估计误差，因为因此是样品的一部分，并且因此被包括在估算器。我们有 $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

从如何最后一个换人计算。继续， $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

将其插入残差方差的表达式中，我们得到

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

因此，不妨讨论一下OP正在使用的文本。

（我已经跳过了一些代数运算，难怪这几天OLS代数的学习越来越少了……）

一些直觉

因此看来，预测时对我们有用（方差较大），估计时对我们有用（方差较小）。这是一个很好的起点，可以用来思考为什么出色的拟合度可能对模型的预测能力不利（尽管这听起来有点违反直觉）。
我们正在估算回归变量的期望值，这一事实将方差减小了。为什么？因为通过估算，我们对样本中存在的某些误差变化 “视而不见” ，因为我们本质上是估算期望值。而且，更大 $1/n$ 回归变量的观测值与回归变量样本均值之间的偏差，与该观测值相关的残差方差越小 ……观测值越偏离，其残差越小……这是回归变量的变异性通过“取代”未知的错误可变性为我们工作。

但这对估计是有好处的。对于预测，同样的事情也不利于我们：现在，通过不考虑的可变性（尽管有欠完善）（因为我们要进行预测），我们从样本中获得的不完美估计量显示出它们的弱点：我们估计了样本意思是，我们不知道真正的期望值-方差会增加。我们有一个是远离从其他观察-too不好计算样本均值，我们的预测误差方差得到另一个提振，因为预测 $y^0$ $x^0$ $\hat y^0$ 将会趋于误入歧途...用更科学的语言“从减少预测误差方差的意义上讲，最佳预测变量代表着向预测变量均值的缩小 ”。我们不尝试复制因变量的可变性-我们只是尝试保持“接近平均值”。

— 阿莱科斯·帕帕多普洛斯
source

Thank you for a very clear answer! I'm glad that my "intuition" was correct.

— Eric

Alecos, I really don't think this is right.

— Glen_b -Reinstate Monica

@Alecos the mistake is in taking the parameter estimates to be uncorrelated with the error term. This part:

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$ isn't right.

— Glen_b -Reinstate Monica

@Eric I apologize for misleading you earlier. I have tried to provide some intuition for both formulas.

— Alecos Papadopoulos

+1 You can see why I did the multiple regression case for this... thanks for going to the extra effort of doing the simple-regression case.

— Glen_b -Reinstate Monica

Sorry for the somewhat terse answer, perhaps overly-abstract and lacking a desirable amount of intuitive exposition, but I'll try to come back and add a few more details later. At least it's short.

Given $H=X(X^TX)^{-1}X^T$ ,

\begin{array}{rcl} Var （ ÿ - \hat{ÿ} ） & = & Var （ （ 一世 - H ） ÿ ） \\ = & （ 一世 - H ） Var （ ÿ ） （ 一世 - H ）^{Ť} \\ = & σ^{2} （ 一世 - H ）^{2} \\ = & σ^{2} （ 一世 - H ） \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

因此

Var （ ÿ_{一世} - {\hat{ÿ}}_{一世} ） = σ^{2} （ 1个 - H_{一世 一世} ）

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

在简单的线性回归的情况下...这给出了问题的答案。

这个答案也很有意义： $\hat{y}_i$ 与...成正相关 $y_i$ ，则差异的方差应小于方差之和。

编辑：为什么的解释 $(I-H)$ 是幂等的。

（一世） $H$ 是幂等的：

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

（ii） $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b-恢复莫妮卡
source

这是其简单性的一个很好的推导，尽管我不清楚一个步骤是为什么

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$ 。也许当您打算扩大答案时，无论如何，您可能会对此说些什么？

— Jake Westfall 2014年

@Jake在末尾添加了几行

— Glen_b-恢复莫妮卡2014年