推导OLS估计量的假设

有人可以为我简要解释一下，为什么要计算OLS估计量需要六个假设中的每一个？我只发现了多重共线性-如果存在多重共线性，则无法求反（X'X）矩阵，进而无法估计总体估计量。其他的怎么样（例如，线性度，零均值误差等）？

least-squares assumptions

— 伊娃
source

相关：什么是线性回归通常假设的完整清单？

— gung-恢复莫妮卡

您是在寻找概念上的解释，还是需要数学上的证明？

— gung-恢复莫妮卡

普通最小二乘法是一个数值过程，除可逆性外，您不需要太多假设即可计算。需要这些假设的理由推断此基础上，我看到昨天的回答：stats.stackexchange.com/questions/148803/...

— 的Kjetil b HALVORSEN

您指的是“六个假设”？您只提到三个。

— whuber

我指的是1）线性2）不存在多重共线性3）零均值误差4）球面误差（均方差和非自相关）5）非随机回归和6）正态分布。因此，正如我从下面的答案中所了解的那样，只有前三个是导出估算器的必要条件，而其他仅用于确保估算器为BLUE？

— 伊娃

Answers:

除了具有完美的多重共线性的情况之外，您始终可以计算OLS估计量。在这种情况下，您的X矩阵确实具有完美的多线性相关性。因此，由于可逆性问题，无法满足完整等级假设，并且您无法计算OLS估计量。

从技术上讲，您不需要其他OLS假设即可计算OLS估计量。但是，根据高斯-马尔可夫定理，您需要满足OLS假设（clrm假设），才能使估计量成为BLUE。

您可以在这里找到有关高斯-马尔可夫定理及其数学推导的广泛讨论：

http://economictheoryblog.com/2015/02/26/markov_theorem/

此外，如果您正在寻找OLS假设的概述，即有多少个，它们需要什么以及如果您违反单个OLS假设会发生什么，可以在这里进行详尽的讨论：

http://economictheoryblog.com/2015/04/01/ols_assumptions/

希望对您有所帮助！

— 西蒙·德贡达
source

以下内容基于简单的横截面，对于时间序列和面板，有所不同。

在总体中（因此在样本中），模型可以表示为：这是线性假设，其有时被误解。该模型应该是线性的参数-即。您可以随意使用自己做任何事情。对数，平方等。如果不是这种情况，则无法通过OLS估算模型-您需要其他非线性估算器。 $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
随机样本（用于横截面）这对于推理和样本属性是必需的。对于OLS的纯粹机制而言，这是无关紧要的。
没有完美的共线性这意味着之间不会存在完美的关系。这是假定可以确保是非奇异的，使得存在。 $x_i$ $(X’X)$ $(X’X)^{-1}$
零条件均值：。这意味着您已经正确地指定了模型，使得：没有遗漏的变量，并且您估计的功能形式相对于（未知）种群模型是正确的。对于OLS，这始终是有问题的假设，因为无法知道它是否真正有效。 $E(u|X) = 0$
误差项的方差是恒定的，在所有的条件：同样，这意味着什么为OLS的力学，但它确保通常的标准误差是有效的。 $X_i$ $\Var(u|X)=\sigma^2$
常态; 误差项U是独立的的，并遵循。再次，这是无关OLS的力学，但确保了的采样分布是正常的， $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ 。 $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

现在来说明一下。

在1-6（经典线性模型假设）下，OLS是BLUE（最佳线性无偏估计量），在最小方差意义上最好。在所有线性估计器以及使用x的某些函数的所有估计器中，它也是有效的。更重要的是，在1-6下，OLS也是最小方差无偏估计量。这意味着在所有无偏估计量（不仅是线性估计量）中，OLS的方差最小。OLS也是一致的。
在1-5（高斯-马尔可夫假设）下，OLS是蓝色且高效（如上所述）。
在1-4下，OLS是无偏且一致的。

实际上，在比弱的假设下，OLS也是一致的，即：和 $(4)$ $(1)\ E(u) = 0$ 。与假设4的不同之处在于，在此假设下，您无需完美地把握功能关系。 $(2)\ \Cov(x_j , u) = 0$

— Repmat
source

我认为您对零均值状况的描述太暗了。如果有偏差，则尽量减少偏差平方的总和也不会做相应的事情，但在另一方面，你可以通过移动回归方程（吸收偏置到捕捉偏置

），然后你也有平均0。换句话说，4既无法核实，并容易被忽视。

β_{0}

$\beta_0$

— user3697176

对不起，但我不同意。也许我只是误解了你？您可以发表意见还是提供参考。

— Repmat 2015年

我说的不是故意失真估计（如岭回归），我相信OP不是在感兴趣。我说的是以下形式的模型

其中---一些奇怪的原因---剩余

具有平均

。在这种情况下，它是很容易做到的正式变换到

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

，其中的平均

是零。

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— user3697176

@ user3697176您编写的内容不正确。我刚刚发布了一个答案来解释原因。

— Alecos Papadopoulos'5

如果不满足假设1，我们是否仍不能使用OLS来估计总体协方差（即使我们知道没有线性关系）？

— 最大

对另一个问题的评论引起了对条件的重要性的怀疑，认为条件可以通过在回归规范中包含一个常数项来进行校正，因此“可以很容易地忽略它”。 $E(\mathbf u \mid \mathbf X) =0$

事实并非如此。如果我们假设该条件均值已经是常数而不是回归函数的话，则在回归中包含常数项将吸收误差项的可能非零的条件均值。这是必须与我们是否包括一个常数项无关地做出的关键假设：

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

如果这成立，那么非零均值将成为一个令人讨厌的问题，我们可以通过包含一个常数项来简单地解决。

但是，如果这不成立，（即条件均值不是零或非零常数），则包含常数项并不能解决问题：在这种情况下，其“吸收”的是一个量级这取决于回归器的特定示例和实现。实际上，与一系列误差相关的未知系数实际上不是常数而是可变的，取决于误差项通过非常数条件均值的回归值。

这意味着什么？ 为了简化，假设最简单的情况，其中（索引的观察），但。也就是说，误差项与回归变量的均值无关，但与同期变量无关（在我们不包括一系列的）。 $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

假设我们用一个常数项（一系列的回归）来指定回归。

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

和压缩符号

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

其中，，， $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ 。 $\mathbf ε = \mathbf u - \mathbf a$

然后，OLS估算器将为

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

对于无偏，我们需要。但 $E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

对于所有，它不能为零，因为我们检查不是常数函数的情况。所以 $i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

和

如果，那么即使我们在回归中包括一个常数项，OLS估计量也不会是无偏的。，这也意味着高斯-马尔可夫效率的结果丢失了 $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ 。

$\mathbf ε$ $i$ $i$ .

But this means that even if the error term $u_i$ is assumed normal, then the distribution of the sampling error $\hat {\mathbf γ} - \mathbf γ$ will be normal but not zero-mean mormal, and with unknown bias. And the variance will differ. So

If $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$ , then even if we include a constant term in the regression, Hypothesis testing is no longer valid.

In other words, "finite-sample" properties are all gone.

We are left only with the option to resort to asymptotically valid inference, for which we will have to make additional assumptions.

So simply put, Strict Exogeneity cannot be "easily ignored".

— Alecos Papadopoulos
source

I'm not completely sure I understand this. Isn't assuming that the mean is a not a function of the regressors equivalent to assuming homoscedasticity?

— Batman

@Batman To what part of my post are you referring to?

— Alecos Papadopoulos

When you say "The inclusion of a constant term in the regression will absorb the possibly non-zero conditional mean of the error term if we assume that this conditional mean is already a constant and not a function of the regressors. This is the crucial assumption that must be made independently of whether we include a constant term or not." Isn't assuming that the conditional mean isn't a function of the regressors exactly what we're assuming when we assume homoscedasticity?

— Batman

@Batman Homoskedasticity is an assumption about the variance. Assuming mean -independence does not imply that

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$ is also a constant, which is also needed for conditional homoskedasticity. In fact, mean-independence,

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$ together with conditional heteroskedasticity,

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$ is a standard model variant.

— Alecos Papadopoulos