子样本上的OLS参数何时不变？

存在观察的样本，每个元素具有数字和特征。样本是残差向量的OLS回归。假设我们从样本中删除观察，将其限制为观察，并再次运行OLS回归，产生下标表示和与以前不是相同的向量，因为缺少观察。 $n$ $Y$ $X$

Y = b_{0} + b_{1} X + u,

$Y = b_0 + b_1 X + \textbf{u},$

u

$\textbf{u}$

i

$i$

n - 1

$n-1$

Y_{- i} = b_{0}^{'} + b_{1}^{'} X_{- i} + u^{'} .

$Y_{-i} = b_0' + b_1' X_{-i} + \textbf{u}'.$

_{- i}

$_{-i}$

Y

$Y$

X

$X$

i

$i$

在我看来，如果关注我们删除是对原样品的“回归线”，即如果然后和。 $i$

Y_{i} = b_{0} + b_{1} X_{i},

$Y_i = b_0 + b_1 X_i,$

b_{0} = b_{0}^{'}

$b_0 = b_0'$

b_{1} = b_{1}^{'}

$b_1 = b_1'$

示例:(在R代码中）

x = c(5,3,4,5,4,4)
y = c(20,15,14,21,10,25)

plot(x,y)
abline(coef(reg))

plot(x[-1],y[-1])

reg1 = lm(y[-1] ~ x[-1])
abline(coef(reg1))

我的问题是：

1）这是真的，如果是的话，证据是什么？
[我在此期间想出了这个，但随意给出一个更好的解决方案。]

2）有可能在删除观察后（不在'回归线'）我们有

（和）或（和）？ $b_0 = b_0'$ $b_1 \neq b_1'$ $b_0 \neq b_0'$ $b_1 = b_1'$

econometrics regression

— Giskard
source

Answers:

自Q1问世以来，我将专注于Q2。是的，可以删除不在回归线上但仍产生和的采样点。这些点的属性为，其中。这些点被称为没有杠杆的点。 $b_{1}=b_{1}'$ $b_{0}\ne b_{0}'$ $x_{j}=\bar{x}$ $\bar{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$

假设是一个没有杠杆但不在回归线上的点，即和。我们知道 $\left(x_{j},y_{j}\right)$ $x_{j}=\overline{x}$ $y_{j}\ne\overline{y}$

\begin{aligned} b_{1} & = \frac{\sum_{i} (x_{i} - \bar{x}) y_{i}}{\sum_{i} {(x_{i} - \bar{x})}^{2}} \\ = \frac{\sum_{- j} (x_{i} - \bar{x}) y_{i} + (x_{j} - \bar{x}) y_{j}}{\sum_{- j} {(x_{i} - \bar{x})}^{2} + {(x_{j} - \bar{x})}^{2}} \\ = \frac{\sum_{- j} (x_{i} - \bar{x}) y_{i}}{\sum_{- j} {(x_{i} - \bar{x})}^{2}} \\ = \frac{\sum_{- j} (x_{i} - {\bar{x}}_{- j}) y_{i}}{\sum_{- j} {(x_{i} - {\bar{x}}_{- j})}^{2}} \\ = b_{1}^{'} \end{aligned}

$\begin{align*} b_{1} & =\frac{\sum_{i}\left(x_{i}-\bar{x}\right)y_{i}}{\sum_{i}\left(x_{i}-\bar{x}\right)^{2}}\\ & =\frac{\sum_{-j}\left(x_{i}-\bar{x}\right)y_{i}+\left(x_{j}-\overline{x}\right)y_{j}}{\sum_{-j}\left(x_{i}-\bar{x}\right)^{2}+\left(x_{j}-\overline{x}\right)^{2}}\\ & =\frac{\sum_{-j}\left(x_{i}-\bar{x}\right)y_{i}}{\sum_{-j}\left(x_{i}-\bar{x}\right)^{2}}\\ & =\frac{\sum_{-j}\left(x_{i}-\bar{x}_{-j}\right)y_{i}}{\sum_{-j}\left(x_{i}-\bar{x}_{-j}\right)^{2}}\\ & =b_{1}' \end{align*}$ 这里我们使用条件和。结合条件，我们有

x_{j} - \bar{x} = 0

$x_{j}-\overline{x}=0$

\bar{x} = {\bar{x}}_{- j}

$\overline{x}=\overline{x}_{-j}$

\bar{y} \neq {\bar{y}}_{- j}

$\overline{y}\ne\overline{y}_{-j}$

\begin{aligned} b_{0}^{'} & = {\bar{y}}_{- j} - b_{1}^{'} {\bar{x}}_{- j} \\ \neq \bar{y} - b_{1} \bar{x} \\ = b_{0} \end{aligned}

$\begin{align*} b_{0}' & =\overline{y}_{-j}-b_{1}'\overline{x}_{-j}\\ & \ne\overline{y}-b_{1}\overline{x}\\ & =b_{0} \end{align*}$

— 保罗
source

我想我想出了1）。我仍然对2）感兴趣。

OLS 以这样的方式设置和 $b_0$ $b_1$

(b_{0} b_{1}) = \arg min_{a_{0}, a_{1}} \sum_{j} {(Y_{j} - a_{0} - a_{1} X_{j})}^{2} .

$(b_0 \ \ b_1) = \arg\min_{a_0, a_1} \sum_j \left(Y_j - a_0 - a_1 X_j\right)^2.$ 第一顺序条件是和如果观察在回归线上然后从此，原始的第一顺序条件是这是子样本的OLS问题的第一顺序条件。

(- 2) \sum_{j} (Y_{j} - b_{0} - b_{1} X_{j}) = 0

$(-2)\sum_j \left(Y_j - b_0 - b_1 X_j\right) = 0$

(- 2) \sum_{j} X_{j} (Y_{j} - b_{0} - b_{1} X_{j}) = 0.

$(-2)\sum_j X_j \left(Y_j - b_0 - b_1 X_j\right) = 0.$

i

$i$

\begin{aligned} (Y_{i} - b_{0} - b_{1} X_{i}) & = 0 \\ X_{i} (Y_{i} - b_{0} - b_{1} X_{i}) & = 0. \end{aligned}

$\begin{align*} \left(Y_i - b_0 - b_1 X_i\right) & = 0 \\ \\ X_i\left(Y_i - b_0 - b_1 X_i\right) & = 0. \end{align*}$

\begin{aligned} (- 2) \sum_{j \neq i} (Y_{j} - b_{0} - b_{1} X_{j}) & = 0 \\ (- 2) \sum_{j \neq i} X_{j} (Y_{j} - b_{0} - b_{1} X_{j}) & = 0, \end{aligned}

$\begin{align*} (-2)\sum_{j\neq i} \left(Y_j - b_0 - b_1 X_j\right) & = 0 \\ \\ (-2)\sum_{j\neq i} X_j\left(Y_j - b_0 - b_1 X_j\right) & = 0, \end{align*}$

— Giskard
source