线性回归：*为什么*可以划分平方和？

这篇文章引用了一个二元线性回归模型。我一直将基于信度的总平方和（SSTO）分为误差平方和（SSE）和模型的平方和（SSR），但是一旦我开始认真考虑，我就不明白为什么起作用...$Y_i = \beta_0 + \beta_1x_i$

我的部分不理解：

$y_i$：y的观测值

$\bar{y}$：所有观测到的 s 的平均值$y_i$

$\hat{y}_i$：给定观察值x的y的拟合/预测值

$y_i - \hat{y}_i$：残差/误差（如果平方和加总为所有观察值，则为SSE）

$\hat{y}_i - \bar{y}$：模型拟合值与平均值相差多少（如果对所有观察值进行平方和加和，则为SSR）

$y_i - \bar{y}$：观测值与平均值相差多少（如果对所有观测值进行了求和，则为SSTO）。

我可以理解为什么，对于一次观察，不求平方，。我能理解为什么，如果要将所有观测值相加，则必须将它们平方，否则它们的总和将为0。$(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

我不明白的部分是为什么（例如，SSTO = SSR + SSE）。看来，如果您遇到，那么，而不是。为什么这里不是这种情况？$(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

看来，如果您遇到，那么 ，而不是。为什么这里不是这种情况？$A = B + C$$A^2 = B^2 + 2BC + C^2$$A^2 = B^2 + C^2$

从概念上讲，想法是因为和是正交的（即垂直）。$BC = 0$$B$$C$

---

在此处进行线性回归的情况下，残差与经过预测的预测正交。与是正交分解一样，来自线性回归的预测会创建的正交分解。$\epsilon_i = y_i - \hat{y}_i$ ÿ（3，4）=（3，0）+（0，4$\hat{y}_i - \bar{y}$$\mathbf{y}$$(3,4) = (3,0) + (0,4)$

线性代数版本：

让：

$$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$$

线性回归（包括常数）将分解为两个向量的和：预测和残余$\mathbf{z}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$

$$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$$

让表示点积。（通常，可以是内积。）$\langle .,. \rangle$$\langle X,Y \rangle$ $E[XY]$

$$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$$

最后一行来自（即和是正交的）。您可以根据普通最小二乘回归构造方式证明和是正交的。$\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$$\hat{\mathbf{z}}$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$是在子空间上的线性投影，该子空间由回归变量，等的线性范围定义。...残余正交于整个子空间，因此（位于，等范围内）是与正交。$\mathbf{z}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$$\hat{\mathbf{z}}$$\mathbf{x}_1$$\mathbf{x}_2$$\boldsymbol{\epsilon}$

---

请注意，当我将定义为点积时，只是写（即SSTO = SSR + SSE）$\langle .,.\rangle$$\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$$\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

整点表明，某些向量是正交的，然后使用勾股定理。

让我们考虑多元线性回归。我们知道OLS估计量是。现在考虑估计$Y = X\beta + \epsilon$$\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$（H矩阵也称为“帽子”矩阵）

其中是Y在上的正交投影矩阵。现在我们有$H$$S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

其中是正交补码上的投影矩阵，它是。因此我们知道和是正交的。$(I-H)$$S(X)$$S^{\bot}(X)$$Y-\hat{Y}$$\hat{Y}$

现在考虑一个子模型$Y = X_0\beta_0 + \epsilon$

其中并且类似地，我们有OLS估计器，并使用投影矩阵将和估计到。类似地，我们有和是正交的。现在$X = [X_0 | X_1 ]$$\hat{\beta_0}$$\hat{Y_0}$$H_0$$S(X_0)$$Y - \hat{Y_0}$$\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

其中是补码上的正交投影矩阵，它是。因此，我们具有和。所以最后我们有了$(I-H_0)$$S(X_0)$$S^{\bot}(X_0)$$\hat{Y} - \hat{Y_0}$$\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

最后$||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

最后，当考虑空模型时，均值只是。$\bar{Y}$$\hat{Y_0}$$Y = \beta_0 + e$