让我们显示一般情况下的结果,其中您的检验统计量公式是特例。一般情况下,我们需要验证该统计可以是,根据所述表征F分布,被写为独立的比χ2 RVS通过自由度划分。
让H0:R′β=r与R和r已知的,非随机的和R:k×q具有列满秩q。这代表了与常数项不同的k个回归变量的q线性限制(与OP表示法不同)。因此,在@ user1627466的示例中,p - 1对应于将所有斜率系数设置为零的q = k - 1限制。kp−1q=k−1
鉴于Var(β^ols)=σ2(X′X)−1,我们有
R′(β^ols−β)∼N(0,σ2R′(X′X)−1R),
以便(与B−1/2={R′(X′X)−1R}−1/2是一个“矩阵平方根”的B−1={R′(X′X)−1R}−1,通过,例如,Cholesky分解)
n := B- 1 / 2σ[R′(β^醇- β)〜Ñ(0 ,我q),
作为
V一个- [R (Ñ )==乙- 1 / 2σ[R′V一个[R (β^醇) - [R乙- 1 / 2σ乙- 1 / 2σσ2乙乙- 1 / 2σ= 我
,其中第二行使用OLSE的方差。
此,如图中您关联的答案(还参见这里),是独立的d:=(n - k )σ^2σ2〜χ2ñ - ķ,
其中 σ 2=ý'中号Xý/(ñ-ķ)是通常的无偏误差方差估计,以中号X=我-X(X'X)-1X'是在X上回归的“剩余制造者矩阵”。σ^2= y′中号Xÿ/(n−k)中号X= 我- X(X′X)− 1X′X
所以,作为ñ′ñ是在法线的二次形式
ñ′ñ〜χ2q/ qd/(n−k)= (β^醇- β)′R{R′(X′X)−1R}−1R′(β^ols−β)/qσ^2∼Fq,n−k.
特别是,下H0:R′β=r,这减少了统计
F=(R′β^ols−r)′{R′(X′X)−1R}−1(R′β^ols−r)/qσ^2∼Fq,n−k.
为了说明,考虑的特殊情况R′=I,r=0,q=2,σ 2 = 1和X ' X = 我。然后,
˚F = β ' 醇β醇 / 2 = β 2 醇,1 + β 2 醇,2σ^2=1X′X=IF= β^′醇β^醇/ 2= β^2醇,1+ β^2醇,22,
在OLS的平方欧几里德距离从通过元件的数量标准化原点估计-强调的是,由于β2醇,2被平方标准的法线和因此χ21中,˚F分布可以被看作是一个“平均χ2分布。β^2醇,2χ21个Fχ2
如果您希望进行一点模拟(这当然不是证明!),在该模拟中对null进行测试,则ķ回归变量都不重要-实际上它们无关紧要,因此我们模拟了null分布。
我们看到理论密度和蒙特卡洛检验统计量的直方图之间有很好的一致性。
library(lmtest)
n <- 100
reps <- 20000
sloperegs <- 5 # number of slope regressors, q or k-1 (minus the constant) in the above notation
critical.value <- qf(p = .95, df1 = sloperegs, df2 = n-sloperegs-1)
# for the null that none of the slope regrssors matter
Fstat <- rep(NA,reps)
for (i in 1:reps){
y <- rnorm(n)
X <- matrix(rnorm(n*sloperegs), ncol=sloperegs)
reg <- lm(y~X)
Fstat[i] <- waldtest(reg, test="F")$F[2]
}
mean(Fstat>critical.value) # very close to 0.05
hist(Fstat, breaks = 60, col="lightblue", freq = F, xlim=c(0,4))
x <- seq(0,6,by=.1)
lines(x, df(x, df1 = sloperegs, df2 = n-sloperegs-1), lwd=2, col="purple")
要查看问题和答案中测试统计信息的版本确实等效,请注意,空值对应于限制[R′= [ 0一世],r = 0。
令X= [ X1个X2]根据零下的系数被限制为零(在您的情况下,除常数以外的所有数,但要遵循的推导是通用的)进行划分。此外,让 β醇 = (β ' 醇,1,β ' 醇,2)'是适当地分配OLS估计。β^醇= (β^′醇,1,β^′醇,2)′
然后
[R′β^醇= β^醇,2
和
[R′(X′X)− 1ř ≡ d〜,
右下块
(XŤX)− 1= (X′1个X1个X′2X1个X′1个X2X′2X2)− 1≡ (甲〜C〜乙〜d〜)
现在,使用对于分区逆结果以获得
d〜= (X′2X2- X′2X1个(X′1个X1个)− 1X′1个X2)− 1= (X′2中号X1个X2)− 1
其中中号X1个= 我- X1个(X′1个X1个)− 1X′1个。
因此,的分子F统计变为(没有由分割q)
Fnum=β^′ols,2(X′2MX1X2)β^ols,2
接着,召回由Frisch-沃-Lovell的定理,我们可以写成
β醇,2 = (X ' 2中号X 1 X 2 )-β^ols,2=(X′2MX1X2)−1X′2MX1y
使得
Fnum=y′MX1X2(X′2MX1X2)−1(X′2MX1X2)(X′2MX1X2)−1X′2MX1y=y′MX1X2(X′2MX1X2)−1X′2MX1y
USSR−RSSR
RSSR=y′MX1y
yX1H0TSS=∑i(yi−y¯)2
USSRMX1yonMX1X2
USSR====y′M′X1MMX1X2MX1yy′M′X1(I−PMX1X2)MX1yy′MX1y−y′MX1MX1X2((MX1X2)′MX1X2)−1(MX1X2)′MX1yy′MX1y−y′MX1X2(X′2MX1X2)−1X′2MX1y
从而,
RSSR - 苏联==ÿ′中号X1个ÿ− (y′中号X1个ÿ- ÿ′中号X1个X2(X′2中号X1个X2)− 1X′2中号X1个ÿ)ÿ′中号X1个X2(X′2中号X1个X2)− 1X′2中号X1个ÿ