如何得出多元线性回归的最小二乘估计？

在简单线性回归的情况下，您可以得出最小二乘估计量这样您就不必知道即可估算β 1 = Σ （X 我 - ˉ X）（Ý 我 - ˉ ÿ$y=\beta_0+\beta_1x$β 0 β$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$$\hat\beta_0$$\hat\beta_1$

假设我有，我怎么得到而不估计\帽子\ beta_2？还是不可能？β 1 β$y=\beta_1x_1+\beta_2x_2$$\hat\beta_1$$\hat\beta_2$

矩阵符号的推导

从$y= Xb +\epsilon$，实际上与

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

一切都归结为最小化$e'e$：

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

因此，最小化$e'e'$给我们：

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

最后一个数学问题，即最小二阶条件要求矩阵是正定的。如果具有最高等级，则满足此要求。$X'X$$X$

可以在http://economictheoryblog.com/2015/02/19/ols_estimator/下找到更精确的推导，该推导贯穿于更大的部门中的所有步骤。

可以在多元回归中仅估算一个系数而无需估算其他系数。

通过从其他变量中去除的影响，然后将的残差相对于的残差进行回归，可以得出的估计值。对此进行了解释和说明，一个控件如何精确控制其他变量？以及如何规范化（a）回归系数？。这种方法的优点在于，它不需要演算，不需要线性代数，仅需使用二维几何图形即可可视化，并且数值稳定，并且仅利用多元回归的一个基本概念：取出（或“控制”） ）单个变量的影响。X 2 ÿ X $\beta_1$$x_2$$y$$x_1$

---

在当前情况下，可以使用三个普通的回归步骤来完成多元回归：

1. 使回归（数项！）。设拟合为。估计为 因此，残差为 从几何学上讲，是在投影到上后剩下的。X 2 Ŷ = α ÿ ，2 X 2 + δ α Ý ，2 = Σ 我ÿ 我X 2 $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$δ=ÿ-αÿ，2X2。δÿX

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. 使在上回归（数项）。设拟合为。估计值为残差为从几何上讲，是减去在上的投影后剩下的x。x 2 x $x_1$$x_2$α 1 ，2 = Σ 我X 1 我 X 2 $x_1 = \alpha_{1,2}x_2 + \gamma$γ = X 1 - α 1 ，2 X 2。γ X 1 X

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. 在上使回归（无常数项）。估计值为适合度为。几何学上，是的部件（其表示与在取出）方向（其表示与取出）。γ β 1 = Σ 我δ 我γ $\delta$$\gamma$δ= β 1γ+

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$ δ ý X 2 γ X 1 X $\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

请注意，尚未估算。$\beta_2$ 它可以轻松地从什么迄今（就像得到恢复在普通的回归情况下，很容易从斜率估计得到）。该是的二元回归残差上与。ββ 1 ε ÿ X 1 X $\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

与普通回归的相似之处很强：步骤（1）和（2）是在常规公式中减去均值的类似物。如果让为1的向量，则实际上您将恢复通常的公式。$x_2$

这以明显的方式概括为使用两个以上的变量进行回归：分别估计，对所有其他变量分别进行和回归，然后将其残差彼此进行回归。在这一点上没有任何其它系数在的多元回归尚未估计。ŸX1个$\hat\beta_1$$y$$x_1$$y$

的普通最小二乘估计是响应变量的线性函数$\beta$。简而言之，可以仅使用因变量（）和自变量（）来写系数的OLS估计值。ÿ 我X ķ $\beta$$Y_i$$X_{ki}$

要为一般回归模型解释这一事实，您需要了解一些线性代数。假设您想估算多元回归模型中的系数，$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

其中为。设计矩阵是一个矩阵，其中每列包含第因变量的观测值。您可以在此处找到用于计算估算系数的公式的许多解释和推导，这是我= 1 ，。。。，Ñ X Ñ × ķ Ñ ķ 吨ħ X ķ β = （$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

假设存在逆。估计系数是数据的函数，而不是其他估计系数。$(\mathbf{X}^\prime \mathbf{X})^{-1}$

关于理论与实践的一小部分说明。数学上可以使用以下公式估算：$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

其中是原始输入数据，是我们要估计的变量。这是从最小化错误开始的。在提出一点实际观点之前，我将对此加以证明。$X$$Y$

令为线性回归在点处产生的误差。然后：$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

现在我们得出的总平方误差为：

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

因为我们有一个线性模型，所以我们知道：

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

可以用矩阵符号重写为：

$$\hat{Y} = X\beta$$

我们知道

$$\sum_{i=1}^n e_i^2 = E'E$$

我们希望使总平方误差最小，以便以下表达式应尽可能小

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

这等于：

$$E'E = (Y-X\beta)' (Y-X\beta)$$

重写似乎令人困惑，但它遵循线性代数。请注意，在某些方面将它们相乘时，矩阵的行为类似于变量。

我们希望找到的值，以使该表达式尽可能小。我们将需要微分并将导数设置为零。我们在这里使用链式规则。$\beta$

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

这给出：

$$X'X\beta = X'Y$$

这样最终：

$$\beta = (X'X)^{-1} X'Y$$

因此，从数学上讲，我们似乎已经找到了解决方案。但是，存在一个问题，即如果矩阵非常大，则很难计算。这可能会产生数值精度问题。在这种情况下找到最佳值的另一种方法是使用梯度下降类型的方法。我们要优化的函数是无界的和凸的，因此如果需要，我们在实践中也将使用渐变方法。 X $(X'X)^{-1}$$X$$\beta$

只需使用LR的几何解释即可完成简单的推导。

线性回归可以解释为在列空间上的投影。因此，误差与的列空间正交。 X ε$Y$$X$$\hat{\epsilon}$$X$

因此，与误差之间的内积必须为0，即 $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

这意味着

$(X'X)^{-1}X'y = \hat{\beta}$。

现在可以通过以下方法完成此操作：

（1）将投射到（错误），，X 2 δ = ý - X 2 d d = （X ' 2 X 2 $Y$$X_2$$\delta = Y-X_2 \hat{D}$$\hat{D} = (X_2'X_2)^{-1}X_2'y$

（2）将投影到（错误），，$X_1$$X_2$$\gamma = X_1 - X_2 \hat{G}$$\hat{G} = (X_1'X_1)^{-1}X_1X_2$

最后，

（3）将投影到，$\delta$$\gamma$$\hat{\beta}_1$