推导OLS系数的另一种方法

在我的另一个问题中，回答者使用以下OLS系数推导：

我们有一个模型：其中未被观察到。然后我们有：其中和。
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

这看起来与我在计量经济学中看到的通常的有所不同。关于此推导是否有更明确的说明？矩阵有名称吗？ $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— 海森堡
source

我很确定在Hansen的讲义中对它进行了描述，但是我现在不掌握它们。

— FooBar

所述矩阵是“化子”或“残余制造者”矩阵与基质相结合。之所以称为“歼灭者”，是因为（当然，对于其自己的矩阵）。由于，因此在回归被称为“剩余制造商” 。 $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

它是一个对称的幂等矩阵。它用于高斯-马尔可夫定理的证明。

此外，它还用于Frisch-Waugh-Lovell定理中，从中可以得到“分区回归”的结果，即在模型中（矩阵形式）

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

我们有

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

由于是幂等的，我们可以用 $\mathbf M_2$

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

由于也是对称的 $M_2$

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

但这是模型中的最小二乘估计

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

并且还是从倒退残差对矩阵只。 $\mathbf M_2\mathbf y$ $\mathbf y$ $\mathbf X_2$

换句话说：1）如果仅对矩阵回归，然后仅对矩阵估算，则将残差进行回归，则将获得的估算值将为在数学上等于如果我们同时对和回归，则得到的估计值与通常的多元回归相同。 $\mathbf y$ $\mathbf X_2$ $\mathbf M_2\mathbf X_1$ $\hat \beta_1$ $\mathbf y$ $\mathbf X_1$ $\mathbf X_2$

现在，假设不是矩阵，而只是一个回归变量，例如。那么是在回归矩阵上回归变量的残差。这提供了直觉：给我们带来的效果是“无法解释的部分”对“无法解释的部分”具有影响。 $\mathbf X_1$ $\mathbf x_1$ $\mathbf M_2 \mathbf x_1$ $X_1$ $\mathbf X_2$ $\hat \beta_1$ $X_1$ $\mathbf X_2$ $Y$ $\mathbf X_2$

这是经典的最小二乘代数的象征部分。

— 阿莱科斯·帕帕多普洛斯
source

开始回答，但与此答案有很多重叠之处。您可以在Bill Greene的第七版“计量经济学分析”的第3.2.4章中找到很多此类信息。

— cc7768 2015年

@ cc7768是的，这是最小二乘代数的一个很好的来源。但是请不要犹豫，发布其他材料。例如，基本上我的回答仅涉及OP的第二个问题。

— Alecos Papadopoulos

@AlecosPapadopoulos，您说如果我们在上回归，我们也会得到。但是方程式不是说在上回归吗？

M_{2} y

$\mathbf M_2y$

X_{1}

$\mathbf X_1$

{\hat{β}}_{1}

$\hat \beta_1$

M_{2} y

$\mathbf M_2y$

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$

— 海森堡

@海森堡正确。错别字。对其进行了修复，并添加了更多内容。

— Alecos Papadopoulos