条件均值独立性意味着OLS估计量的无偏性和一致性

考虑以下多元回归模型：

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

这里是列向量； a矩阵; a列向量; a 矩阵；一的列向量; 和，误差项，列向量。 $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

题

我的讲师是《计量经济学概论》教科书，第三版。詹姆斯·H·斯托克（James H. Stock）和马克·沃森（Mark W.Watson）281，和《计量经济学：荣誉考试复习会》（PDF），第2页。7，向我表达了以下内容。

如果我们假设所谓的条件平均独立性，根据定义，这意味着 $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
并且如果满足最小二乘假设，但条件均值零假设（因此，我们假设）（请参阅1 -3以下）， $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
然后，在这个较弱的假设集合下，中的OLS估计量保持无偏且一致。 $\hat{\beta}$ $\beta$ $(1)$

我如何证明这一主张？即，1和2以上意味着OLS估计给了我们一个公正的和一致的估计？是否有任何研究文章证明这一主张？ $\beta$ $\beta$

最简单的情况是通过考虑线性回归模型给出并证明了OLS估计的如果每个，则是无偏的。

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

证明无偏的假设和共同正态分布 $U_i$ $Z_i$

定义，然后和因此，可以重写为通过，得出现在，由于和共同为正态分布，因此正态分布的理论请参见。推导多元正态分布的条件分布，表示（实际上，我们不需要假设联合正态性，而只需假设此同一性）对于某乘矢量 $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ 。

现在变为对于模型所有最小二乘假设均已满足，因为误差项满足条件假设。均值为零。这意味着OLS估计的将是公正的，因为如果我们让，并让是由的组成的矩阵和，则OLS估计中是通过考虑以下给出： $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

因此，第二行后跟。因此是一个有条件无偏估计由于OLS估计给出模型与对模型给出coinicides。现在，根据总期望定律因此是用于一个无偏估计。

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

（可能会注意到，因此上的系数不一定是无偏的。） $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

但是，上面的特殊情况假设和联合正态分布，如果没有这个假设，我怎么证明这个命题？ $U_i$ $Z_i$

当然，假设总是足够的（请参阅），但是我应该仅使用和最小二乘假设（不包括条件均值零假设）（见下文）。 $E(U|Z)=Z\gamma$ $(**)$ $(2)$

关于一致性

我认为通过注意到在回归模型所有最小二乘假设都满足，包括（新的）误差项满足以下假设，我也可以看到估计值与是一致的。有条件的平均零假设（请参阅并参见下文）。 $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

稍后，我可能会添加一致性证明，该证明基于《计量经济学概论》（第三版）中的一系列练习。由James H. Stock和Mark W. Watson合着。18.但是，这种证明很长。但是这里的要点是，练习中提供的证明是假设，所以我仍然想知道假设是否真的足够。 $(**)$ $(2)$

子查询1

在《计量经济学概论》中，第3版。据说，詹姆斯·H·斯托克和马克·沃森 300，可以使用非线性回归理论“放松” 假设。这是什么意思？ $(**)$

最小二乘假设

在这里，我排除了的条件均值零假设，因为我们试图证明的命题允许。这些是例如与相关的情况。cf. 计量经济学：荣誉考试复习会（PDF），第2页。7 $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

最小二乘假设如下。

的联合分布，被IID，其中是：在第i个元素并且其中和是：在第i行向量和。 $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
不可能有较大的异常值，即，对于每个，和具有有限的第四矩，其中是第个元素。 $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ 具有完整的列秩（即，没有完美的多重共线性；这确保的可逆性）。 $W^TW$
（扩展的最小二乘假设：虽然我认为这不是必需的（并且有人告诉我没有这个必要），但我们也可以假设是同方差，即每个，并且给定的的条件分布对于每个是正态的（即，我们有正态误差）。 $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

术语说明

在，条件均值为零的假设是的假设。但是，条件平均独立假设是的假设。 $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

该术语在例如《计量经济学概论》（第三版）中使用。詹姆斯·H·斯托克（James H. Stock）和马克·沃森（Mark W.Watson）281；和横截面和面板数据，第1版的计量分析。杰弗里·伍尔德里奇（Jeffrey M. 607.有关类似讨论，另请参阅《条件独立限制：测试和估计》。

其他思路和子问题2

我认为与James H. Stock和Mark W. Watson相反，条件均值独立性不能确保 OLS估计无偏。这是因为可以采用非线性的形式像其中，是在一个多项式，或，其中是尚待估计的参数（这里我使用矩阵指数），然后，我认为必须应用非线性回归，这通常会使我们有偏差的估计。此外，（1）中的OLS估计甚至可能与的OLS估计不一致 $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ 在式如果呈现某些非线性形式。（从心理上讲，我也认为Stock＆Watson在书中所作的陈述太好了，难以置信。） $(4)$ $E(U|Z)$

因此，另一个问题是，是否存在与条件均值独立性导致无偏的OLS估计这一命题的反例？

子查询3

在大多数无害计量经济学中， Angrist＆Pischke在3.3小节中指出。68--91，在条件独立性（CI）下，即在给定情况下与无关（我想这是一个比上面给出的条件平均独立性假设更强的条件），匹配估计之间存在紧密联系的效果上和对系数中的回归上和这种想法会促使该CI下OLS上估计系数的在 $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ 与CI不成立（其他所有条件都相等）相比，它的偏见要小。

现在，这个想法可以以某种方式用于回答我的主要问题吗？

— 埃里亚斯
source

@西安是什么意思？这是在我的书给定的条件均值独立性的定义：如果我们的线性回归有，那么我们说，我们有条件的均值独立性。我只是认为我的写作方式比较笼统。

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— 埃里亚斯

@西安在这种情况下，您将如何定义“有条件的独立性”？我认为，“条件独立”是一个不同于“条件平均独立”的概念。它们可能在概念上链接也可能不链接。

— 埃里亚斯

@西安这就是我理解概念的方式：条件独立性只是，但条件均值独立性是。

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— 伊莱亚斯（Elias）

西安在哪里评论？

— Michael R. Chernick

@MichaelChernick他的评论是第一个。我想他一定已经删除了。我记得，他说并不意味着条件独立，我回答。

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— 伊莱亚斯（Elias）

Answers:

是错的正如您所观察到的，如果您仔细阅读Stock和Watson，他们实际上并不赞同在条件均值独立性下OLS对于是无偏的说法。他们赞同一个更弱的说法，即如果，OLS对于是无偏的。然后，他们对非线性最小二乘法说得有些含糊。 $\beta$ $\beta$ $E(u|x,z)=z\gamma$

等式（4）包含您需要查看的声明为假的内容。通过OLS估算方程式（4），而忽略变量则会导致省略变量偏差。您可能还记得，遗漏变量的偏项（当遗漏变量的系数为1时）由以下辅助回归的系数控制：从此回归来看，原始回归的偏差为，而的偏差为。如果与相关控制之后，线性的 $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ ，则将为非零值，并且OLS系数将存在偏差。

α_{1}

$\alpha_1$

这是证明这一点的示例：

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

看看的公式，很显然看看辅助回归，很显然（缺少某些偶然选择）不会为零。 $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

这是一个非常简单的示例R，说明了这一点：

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

请注意，第一次回归为您提供了的系数，该系数向上偏移了0.63，这反映了 “在其中具有一些 ”和的事实。还要注意，辅助回归为您提供的偏差估计约为0.63。 $x$ $x$ $z^2$ $E(u|z)$

那么，Stock和Watson（以及您的讲师）在谈论什么呢？让我们回到方程式（4）：

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

一个重要的事实是，省略的变量只是的函数。好像我们可以很好地控制，即使可能与相关联，也足以消除回归中的偏差。 $z$ $z$ $x$ $u$

假设我们使用非参数方法来估计函数或使用正确的函数形式来估计下面的方程。如果我们使用正确的函数形式，我们将通过非线性最小二乘估计（解释关于NLS的神秘评论）：这样就可以为提供一个一致的估计值，因为不再存在遗漏的变量问题。 $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

或者，如果我们有足够的数据，我们可以``一直''控制。我们可以查看的数据子集，然后运行回归：这将为提供无偏，一致的估计量，除了当然，截距将被污染。显然，您还可以通过仅对数据点运行该回归来获得（不同）一致，无偏的估计量。还有一个用于的点。等等，那么您将拥有许多不错的估算器，例如，可以通过某种方式将它们平均在一起，就可以做出出色的估算器。 $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

后一种思想是匹配估计量的启发。因为我们通常没有足够的数据来字面上仅运行回归或甚至对点，其中的是相同的，我们不是运行点回归，其中是``足够接近'到是相同的。 $z=1$ $z$ $z$

— 法案
source

您无法证明此结果，因为它在一般性陈述中不正确。从等式中的模型开始。 $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

其中大括号表示实际误差项（对条件期望还没有假设）。定义残差生成者或灭者矩阵，该矩阵对称，等幂，并且我们也有。 $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

通过“分区回归结果”，我们得出

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

右边的第一项已经为零。始终采用期望值，然后将塔属性应用于条件期望，则第三项也将为零（使用较弱形式的条件均值独立性）。但这远是这个较弱的假设带给我们的，因为我们将被遗弃

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

对于无偏， 我们希望右边为零。这将举行，如果是的线性函数（你也发现），因为我们将再次获得零。但是否则，直接假设整个期望值为零是完全任意的。我们不必假定联合规范，但必须假定此条件期望的线性（其他分布也具有此属性）。因此，无偏的必要假设是 $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

与所有回归变量的严格外生性相比，我不能说它是否真的“较弱”（因为严格严格的外生性是针对所有分布假设的均值独立性来表示的，而在这里，我们必须限制和跟随）。 $U$ $Z$

不难证明在这种线性假设下也将是一致的。 $\hat \beta_{OLS}$

— 阿莱科斯·帕帕多普洛斯
source

好答案！我很久以前就读过这篇文章，以为以后再考虑。我有一些问题：如何证明分区回归结果？我至少希望能有所借鉴。另外，和什么？

M_{Z}

$M_Z$

M_{z}

$M_z$

— 伊莱亚斯

@Monir和只是一个错字-已修复。有关分区回归结果（非常古老且标准的结果），请参阅例如Greene撰写的《计量经济学》教科书，该章讨论了普通最小二乘估计的代数方面。它包括证明。

Z

$Z$

z

$z$

— Alecos Papadopoulos