当包含截距时，为什么线性回归中的残差总和为零？

14

我正在学习回归模型，为线性回归提供的属性之一是，当包含截距时，残差总和为零。

有人能提供一个很好的解释为什么会这样吗？

regression residuals

— dts86
source

3

您可能想首先考虑一个密切相关但更简单的问题，即为什么在单变量样本中，通过从每个值中减去样本均值而获得的残差总和也为0。（如果可以，请尝试遵循代数。）

— Glen_b-恢复莫妮卡

3

一旦您认识到“总和为零”表示“与解释变量之一正交”，答案在几何上就显而易见。

— ub

18

这直接来自法线方程，即OLS估计器求解的方程，

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

如果您喜欢线性代数，括号内的向量当然是残差向量或在列空间的正交补码上的投影。现在在矩阵中包含一个矢量，顺便说一句，它不必像通常那样在第一列中 $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

在二变量问题中，这更容易看清，因为最小化残差平方和可以使我们

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

当我们针对截距取导数时。然后我们从中获得熟悉的估计量

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

在这里我们再次看到估算器的构造强加了这一条件。

— 约翰·克
source

17

如果您正在寻找一个比较直观的解释。

从某种意义上说，线性回归模型不过是一个花哨的平均值。要找到的算术平均值 $\bar{x}$ 超过某些值 $x_1, x_2, \dots, x_n$ ，我们发现了一个值，该值是在某种意义上中心性的度量的所有偏差（其中每个偏差被定义为的总和 $u_i = x_i - \bar{x}$ ）均值右边的）等于该均值左边所有偏差的总和。衡量该指标的优良性并没有内在原因，更不用说描述样本均值的最佳方法了，但它肯定是直观且实用的。重要的一点是，通过以这种方式定义算术平均值，必须遵循的是，一旦我们构造了算术平均值，则从该平均值算起的所有偏差必须按照定义求和为零！

在线性回归中，这没有什么不同。我们拟合线，使得我们的拟合值（这是回归直线上），并且是实际值之间的所有差异的总和以上的线正好等于回归线之间的所有值都差之和以下的线。再次，没有内在的原因，为什么这是构建拟合的最佳方法，但是它是直接且直观的吸引力。就像算术平均值一样：通过以这种方式构造我们的拟合值，必然会导致构造出与该线的所有偏差之和必须为零，否则这将不是OLS修正。

— 曼努埃尔·R
source

2

+1为简单，直观的答案！

很好的解释，但我不确定，“再说一次，没有内在的原因，为什么这是构建合适的最佳方法，但它简单明了且直观。” 是准确的。高斯-马尔可夫定理众所周知，OLS估计量是蓝色的：最佳（最小方差）线性无偏估计（满足假设）。通常，我们对吸引人/合理的东西的直观“感觉”也会得到数学上的备份，就像这里的情况一样。

— 梅格

3

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ 因此，当线性回归中包含截距时，残差总和为零。

— 戴维·克鲁斯
source

1

$1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

因此，

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— 战雄
source

0

使用矩阵代数的简单推导：

$\sum e$ $1^Te$

然后

$1^Te = 1^T(M_x y)$ $M_x$ $M_x$ $(M_x1)^Ty$

$M_x$ $1$ $x$ $1$

— 美浓
source

我认为这是不对的。

— Michael R. Chernick

如果您解释了原因，那么我将乐于学习一些东西

— -Mino

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— 胡纳普
source