简单线性回归中回归系数的导数方差


37

在简单的线性回归,我们有y=β0+β1x+u,其中uiidN(0,σ2)。我导出的估计:

β1^=i(xix¯)(yiy¯)i(xix¯)2 ,
其中x¯y¯是的样本均值xy

现在,我想找到的方差β 1。我衍生像下面这样: 无功^ β 1= σ 21 - 1β^1

Var(β1^)=σ2(11n)i(xix¯)2 .

推导如下:

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=1(i(xix¯)2)2Var(i(xix¯)(β0+β1xi+ui1nj(β0+β1xj+uj)))=1(i(xix¯)2)2Var(β1i(xix¯)2+i(xix¯)(uijujn))=1(i(xix¯)2)2Var(i(xix¯)(uijujn))=1(i(xix¯)2)2×E[(i(xix¯)(uijujn)E[i(xix¯)(uijujn)]=0)2]=1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid=1(i(xix¯)2)2i(xix¯)2E(uijujn)2=1(i(xix¯)2)2i(xix¯)2(E(ui2)2×E(ui×(jujn))+E(jujn)2)=1(i(xix¯)2)2i(xix¯)2(σ22nσ2+σ2n)=σ2i(xix¯)2(11n)

我在这里做错了吗?

Var(β1^)=σ2i(xix¯)2


2
11n=n1n

通用答案也已发布在stats.stackexchange.com/questions/91750的重复线程中。
ub

Answers:


35

i(xix¯)(yiy¯)yiy¯iy¯

i(xix¯)y¯=y¯i(xix¯)=y¯((ixi)nx¯)=y¯(nx¯nx¯)=0

因此

i(xix¯)(yiy¯)=i(xix¯)yii(xix¯)y¯=i(xix¯)yi=i(xix¯)(β0+β1xi+ui)

Var(β1^)=Var(i(xix¯)(yiy¯)i(xix¯)2)=Var(i(xix¯)(β0+β1xi+ui)i(xix¯)2),substituting in the above=Var(i(xix¯)uii(xix¯)2),noting only ui is a random variable=i(xix¯)2Var(ui)(i(xix¯)2)2,independence of ui and, Var(kX)=k2Var(X)=σ2i(xix¯)2

这是您想要的结果。


附带说明,我花了很长时间试图找出您的推导中的错误。最后,我认为谨慎是勇气的重要部分,最好尝试使用更简单的方法。但是根据记录,我不确定这一步骤是否合理

=.1(i(xix¯)2)2E[(i(xix¯)(uijujn))2]=1(i(xix¯)2)2E[i(xix¯)2(uijujn)2] , since ui 's are iid
jujn

juj^=0u^¯=iuin=0u^¯=y¯y^¯=0y¯=y^¯jujn

好的,在您的问题中,重点是避免矩阵符号。
TooTone 2014年

是的,因为我能够使用矩阵表示法解决它。请注意,从我的最后一条评论中,我没有使用任何线性代数。无论如何,感谢您的出色回答^。^
mynameisJEFF 2014年

抱歉,我们在这里互通有无吗?我也没有在答案中使用任何矩阵符号,并且我以为那是您在问题中提出的问题。
TooTone 2014年

抱歉误会了哈哈...
mynameisJEFF 2014年

2

i(xix¯)(uijujn)E[(iaibi)2]ai=xix¯;bi=uijujnE[i,jaiajbibj]=i,jaiajE[bibj]E[bibj]=σ2(δij1n)E[i,jaiajbibj]=i,jaiajσ2(δij1n)=iai2σ2iai=0


1

从“派生如下”开始:“第七个” =错误。

因为

i(xix¯)(uiu¯)

=i(xix¯)uii(xix¯)u¯

=i(xix¯)uiu¯i(xix¯)

=i(xix¯)uiu¯(ixinx¯)

=i(xix¯)uiu¯(ixiixi)

=i(xix¯)uiu¯0

=i(xix¯)ui

因此,在第7个“ =”之后,应该是:

1(i(xix¯)2)2E[(i(xix¯)ui)2]

=1(i(xix¯)2)2E(i(xix¯)2ui2+2ij(xix¯)(xjx¯)uiuj)

= 1(i(xix¯)2)2E(i(xix¯)2ui2)+2E(ij(xix¯)(xjx¯)uiuj)

= 1(i(xix¯)2)2E(i(xix¯)2ui2)uiujE(uiuj)=0

= 1(i(xix¯)2)2(i(xix¯)2E(ui2))

σ2(i(xix¯)2)2


1
如果您编辑答案以包括正确的行,可能会有所帮助。
mdewey

您的答案很短,因此会自动将其标记为低质量。请考虑扩大答案范围
Glen_b
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.