如何得出线性回归系数的标准误差


20

对于 给定数据集单变量线性回归模型 ,系数估计为 根据book和Wikipedia,的标准错误是 和原因? d = { X 1ÿ 1X Ñÿ Ñ} β 1 = Σ X ÿ - ñ ˉ X ˉ ÿ

ÿ一世=β0+β1个X一世+ϵ一世
d={X1个ÿ1个Xñÿñ}
β^1个=一世X一世ÿ一世-ñX¯ÿ¯ñX¯2-一世X一世2
β^0=ÿ¯-β^1个X¯
β^1个
sβ^1个=一世ϵ^一世2ñ-2一世X一世-X¯2


@ocram,谢谢,但是我不太能处理矩阵内容,我会尝试的。
鳄梨

1
@ocram,我已经知道它是怎么来的。但仍然是一个问题:在我的帖子中,标准错误为,根据您的回答,它没有,为什么?ñ-2
鳄梨

Answers:


15

上面的第三点评论:我已经了解了它的来历。但仍然是一个问题:在我的帖子中,标准误差为(n−2),根据您的回答,它没有,为什么?


我的帖子中,发现 分母可以写成 因此, ÑΣX-ˉX2^SEb=

SE^b^=ñσ^2ñX一世2-X一世2
ñ一世X一世-X¯2
SE^b^=σ^2一世X一世-X¯2

假设 即ANOVA表中的均方误差(MSE),我们最终得到您的表达式用于。所述术语占的2个自由度的截距和斜率的估计的损失。^ SE bñ-2

σ^2=1个ñ-2一世ϵ^一世2
SE^b^ñ-2

1
我想我得到了其他所有期望的最后一部分。您能否逐步说明为什么?我也知道这与自由度有关,但是我不懂数学。σ^2=1个ñ-2一世ϵ^一世2
Mappi

2

考虑n-2 df的另一种方法是,因为我们使用2种方法来估算斜率系数(Y和X的平均值)

维基百科的df:“ ...通常,参数估算的自由度等于估算中独立得分的数量减去参数本身估算中用作中间步骤的参数数量 ”。


2
尽管这是一种直觉,但实际上并非如此。但是,对于与此相关的一些微妙之处,请参见如何理解自由度?
Silverfish'Mar
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.