证明OLS模型中的系数服从(nk)自由度的t分布


29

背景

假设我们有一个普通的最小二乘模型,其中我们的回归模型中有系数, k

y=Xβ+ϵ

其中是系数的向量,是由定义的设计矩阵β(k×1)X

X=(1x11x12x1(k1)1x211xn1xn(k1))
,错误是IID正常,
ϵN(0,σ2I).

我们通过设置我们的估计减少加总平方错误是 β = X Ť X - 1 X Ť ÿβ

β^=(XTX)1XTy.

的无偏估计量为 其中\ mathbf {\ hat {y}} \ equiv \ mathbf {X} \ mathbf {\ hat {\ beta}}ref)。σ2ýX β

s2=yy^2np
y^Xβ^

\ mathbf {\ hat {\ beta}}的协方差β^

Cov(β^)=σ2C
,其中C(XTX)1ref)。

对于β^i, 我如何证明

β^iβisβ^itnk
其中tnk是t分布具有(nk)个自由度,并且\ hat {\ beta} _i的标准误差β^is _ {\ hat {\ beta} _i} = s \ sqrt {c_ {ii}}估算sβ^i=scii

我的尝试

我知道,对于从采样的随机变量,您可以显示 通过将LHS重写为 并意识到分子是标准正态分布,分母是卡方分布的平方根,且df =(n-1)并除以(n- 1)(参考)。因此,它遵循df =(n-1)(ref)的t分布。nxN(μ,σ2)

x¯μs/ntn1
(x¯μσ/n)s2/σ2

我无法将此证明扩展到我的问题...

有任何想法吗?我知道这个问题,但是他们没有明确证明,只是给出了一个经验法则,说:“每个预测变量都会给您带来一定程度的自由度”。


由于是联合正态变量的线性组合,因此具有正态分布。因此,所有你需要做的是:(1)建立 ; (2)证明是的无偏估计量;(3)证明的自由度为。后者已在此站点的多个地方得到证明,例如stats.stackexchange.com/a/16931。我怀疑您已经知道该怎么做(1)和(2)。È β=βš 2 β瓦尔 βš βñ-ķβ^iE(β^i)=βisβ^i2Var(β^i)sβ^ink
ub

Answers:


32

由于 我们知道 ,因此,我们知道,对于每个组件的, ,其中是的对角元素。因此,我们知道 β -βÑ0σ2XŤX-1ķ β β ķ-βķÑ0σ2小号ķkSkkkthXTX

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
Skkkth Ž ķ = β ķ - β ķ(XTX)1
zk=β^kβkσ2SkkN(0,1).

注意关于标准法向量中幂等二次型分布定理的陈述(格林定理B.8):

如果且是对称且幂等的,则分布其中是的秩。X ŤX χ 2 ν ν xN(0,I)AxTAxχν2νA

令表示回归残差矢量,令 是残差制造者矩阵(即) 。容易验证是对称且幂等的中号=ñ-XXŤX-1XŤ中号ÿ= ε中号ε^

M=InX(XTX)1XT,
My=ε^M

令 是的估计量。

s2=ε^Tε^np
σ2

然后,我们需要做一些线性代数。请注意以下三个线性代数属性:

  • 幂等矩阵的秩是其迹线。
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1)如果为而为(此属性对于下面的工作至关重要A1n1×n2A2n2×n1

因此,

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

然后

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

将定理应用于标准法向量中的幂等二次型的分布(如上所述),我们知道。Vχnp2

由于您假设是正态分布的,因此独立于,并且由于是的函数,因此也独立于。因此,和彼此独立。εβ^ε^s2ε^s2β^zkV

然后, 是标准正态分布与卡方分布的平方根的比率具有相同的自由度(即),这是分布的特征。因此,统计量具有自由度的分布

tk=zkV/(np)
npttktnp

然后可以将其代数化为更熟悉的形式。

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)

还有一个侧面的问题:对于Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector,我们是否还需要对称?不幸的是,我没有Greene,尽管我看到Wikipedia与您的表单相同,但我看不到证据。但是,一个反例似乎是幂等矩阵,这导致不是Chi-Squared的,因为它可以取负值。 ..AA=(1100)x12+x1x2
加勒特2014年

1
@Garrett,我很抱歉,应该既对称又幂等。本文提供了一个定理3的证明:www2.econ.iastate.edu/classes/econ671/hallam/documents / ...幸运的是,是对称的而且是幂等的。AM
蓝色标记2014年

1
A仅仅是二次形式矩阵表示。每个二次形式都有一个对称表示,因此定理陈述中隐含了对称性的要求。(人们不使用非对称矩阵来表示二次形式。)因此,二次形式由矩阵唯一表示这是幂等的。A(x1,x2)x12+x1x2A=(11/21/20)
ub

1
为什么暗示独立于?那里不是很关注。ϵN(0,σ2)β^ϵ^
Glassjawed

1
@Glassjawed由于和都是多元正态分布的,因此不相关意味着独立。使用表达式和来自上方,我们可以证明。 ε β =β+X X-1Xε ε =中号ε冠状病毒 β ε=0p×Ñβ^ε^β^=β+(XX)1Xεε^=MεCov(β^,ε^)=0p×n
rzch
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.