回归系数的协方差的解释是什么?


13

R中的lm函数可以打印出回归系数的估计协方差。这些信息给我们带来了什么?我们现在可以更好地解释模型或诊断模型中可能存在的问题吗?


1
与所有其他协方差-线性协方差的解释相同吗?主要用途是计算所选感兴趣对比度的方差,例如测试对比度。
kjetil b halvorsen

Answers:


19

协方差矩阵的最基本用途是获得回归估计的标准误差。如果研究人员仅对单个回归参数本身的标准误差感兴趣,则只需取对角线的平方根即可得出单个标准误差。

但是,通常您可能会对回归参数的线性组合感兴趣。例如,如果您有给定组的指标变量,则可能对组均值感兴趣,这将是

β0+βgrp

然后,要找到该组估计均值的标准误,您将

XSX

XSX=(1,1)11

此外,协方差矩阵(或更重要的是,从协方差矩阵唯一地识别出的相关矩阵,反之亦然)对于某些模型诊断非常有用。如果两个变量高度相关,则考虑的一种方法是该模型很难弄清楚哪个变量引起了效果(因为它们是如此紧密相关)。这对于所有情况都是有帮助的,例如选择协变量的子集以用于预测模型。如果两个变量高度相关,则您可能只想在预测模型中使用两个变量之一。


Xβ
Var(β^)=E(ε^2)(XX)1

8

回归系数有两种“种类”:

  1. βc
  2. bβ^c

XY|Cov(X,Y)|XYXY

bb1b2b1b2b1b2

b1b1

Cov(b1,b2)

至于实际用途,Cliff AB的回答是一个很好的总结。


bibjij

1
@whuber谢谢,我确实曾经写过“ correlation”。我下电话时会收拾
行李

由于我可能暂时不会回到该线程,因此请提前+1!
ub

我的描述中犯了同样的错误!
悬崖AB

@whuber现在我实际上是在猜测我自己对协方差的理解。我的问题仅仅是我没有强调刻度可能不同的事实,还是我遗漏了其他东西?我碰到了您的“框”解释,但看不到可能是什么
Shadowtalker,2015年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.