线性回归:*为什么*可以划分平方和?


9

这篇文章引用了一个二元线性回归模型。我一直将基于信度的总平方和(SSTO)分为误差平方和(SSE)和模型的平方和(SSR),但是一旦我开始认真考虑,我就不明白为什么起作用...Yi=β0+β1xi

我的部分理解:

yi:y的观测值

y¯:所有观测到的 s 的平均值yi

y^i:给定观察值x的y的拟合/预测值

yiy^i:残差/误差(如果平方和加总为所有观察值,则为SSE)

y^iy¯:模型拟合值与平均值相差多少(如果对所有观察值进行平方和加和,则为SSR)

yiy¯:观测值与平均值相差多少(如果对所有观测值进行了求和,则为SSTO)。

我可以理解为什么,对于一次观察,不求平方,。我能理解为什么,如果要将所有观测值相加,则必须将它们平方,否则它们的总和将为0。(yiy¯)=(y^iy¯)+(yiy^i)

我不明白的部分是为什么(例如,SSTO = SSR + SSE)。看来,如果您遇到,那么,而不是。为什么这里不是这种情况?(yiy¯)2=(y^iy¯)2+(yiy^i)2A=B+CA2=B2+2BC+C2A2=B2+C2


5
您在最后一段中省略了总和。SST = SSR + SSE是的和,但是如果没有等号,则您之前写的等式实际上并不成立。i
Glen_b-恢复莫妮卡的时间

1
在最后一段中,您不希望(例如,SSTO = SSR + SSE)(例如,SSTO = SSR + SSE)。“ eg”是英语中拉丁词“ exempli gratia ”或“例如” 的缩写。“ ie”是“ id est ” 的缩写,可以用英语“ that”来阅读。
马修·冈恩

Answers:


9

看来,如果您遇到,那么 ,而不是。为什么这里不是这种情况?A=B+CA2=B2+2BC+C2A2=B2+C2

从概念上讲,想法是因为和是正交的(即垂直)。BC=0BC


在此处进行线性回归的情况下,残差与经过预测的预测正交。与是正交分解一样,来自线性回归的预测会创建的正交分解。ϵi=yiy^i ÿ34=30+04y^iy¯y(3,4)=(3,0)+(0,4)

线性代数版本:

让:

z=[y1y¯y2y¯yny¯]z^=[y^1y¯y^2y¯y^ny¯]ϵ=[y1y^1y2y^2yny^n]=zz^

线性回归(包括常数)将分解为两个向量的和:预测和残余zz^ϵ

z=z^+ϵ

让表示点积。(通常,可以是内积。).,.X,Y E[XY]

z,z=z^+ϵ,z^+ϵ=z^,z^+2z^,ϵ+ϵ,ϵ=z^,z^+ϵ,ϵ

最后一行来自(即和是正交的)。您可以根据普通最小二乘回归构造方式证明和是正交的。z^,ϵ=0z^ϵ=zz^z^ϵz^

z^是在子空间上的线性投影,该子空间由回归变量,等的线性范围定义。...残余正交于整个子空间,因此(位于,等范围内)是与正交。zx1x2ϵz^x1x2ϵ


请注意,当我将定义为点积时,只是写(即SSTO = SSR + SSE).,.z,z=z^,z^+ϵ,ϵi(yiy¯)2=i(y^iy¯)2+i(yiy^i)2


8

整点表明,某些向量是正交的,然后使用勾股定理。

让我们考虑多元线性回归。我们知道OLS估计量是。现在考虑估计Y=Xβ+ϵβ^=(XtX)1XtY

Y^=Xβ^=X(XtX)1XtY=HY(H矩阵也称为“帽子”矩阵)

其中是Y在上的正交投影矩阵。现在我们有HS(X)

YY^=YHY=(IH)Y

其中是正交补码上的投影矩阵,它是。因此我们知道和是正交的。(IH)S(X)S(X)YY^Y^

现在考虑一个子模型Y=X0β0+ϵ

其中并且类似地,我们有OLS估计器,并使用投影矩阵将和估计到。类似地,我们有和是正交的。现在X=[X0|X1]β0^Y0^H0S(X0)YY0^Y0^

Y^Y0^=HYH0Y=HYH0HY=(IH0)HY

其中是补码上的正交投影矩阵,它是。因此,我们具有和。所以最后我们有了(IH0)S(X0)S(X0)Y^Y0^Y0^

||YY^||2=||Y||2||Y^||2=||YY0^||2+||Y0^||2||Y^Y0^||2||Y0^||2

最后||YY0^||2=||YY^||2+||Y^Y0^||2

最后,当考虑空模型时,均值只是。Y¯Y0^Y=β0+e


谢谢您的回答!什么是S()(就像您帖子中的S(X)一样)?
bluemouse

S(X)是由矩阵的列产生的子空间X
卢卡斯梯度
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.