看来,如果您遇到,那么
,而不是。为什么这里不是这种情况?A=B+CA2=B2+2BC+C2A2=B2+C2
从概念上讲,想法是因为和是正交的(即垂直)。BC=0BC
在此处进行线性回归的情况下,残差与经过预测的预测正交。与是正交分解一样,来自线性回归的预测会创建的正交分解。ϵi=yi−y^i ÿ(3,4)=(3,0)+(0,4)y^i−y¯y(3,4)=(3,0)+(0,4)
线性代数版本:
让:
z=⎡⎣⎢⎢⎢y1−y¯y2−y¯…yn−y¯⎤⎦⎥⎥⎥z^=⎡⎣⎢⎢⎢⎢y^1−y¯y^2−y¯…y^n−y¯⎤⎦⎥⎥⎥⎥ϵ=⎡⎣⎢⎢⎢⎢y1−y^1y2−y^2…yn−y^n⎤⎦⎥⎥⎥⎥=z−z^
线性回归(包括常数)将分解为两个向量的和:预测和残余zz^ϵ
z=z^+ϵ
让表示点积。(通常,可以是内积。)⟨.,.⟩⟨X,Y⟩ E[XY]
⟨z,z⟩=⟨z^+ϵ,z^+ϵ⟩=⟨z^,z^⟩+2⟨z^,ϵ⟩+⟨ϵ,ϵ⟩=⟨z^,z^⟩+⟨ϵ,ϵ⟩
最后一行来自(即和是正交的)。您可以根据普通最小二乘回归构造方式证明和是正交的。⟨z^,ϵ⟩=0z^ϵ=z−z^z^ϵz^
z^是在子空间上的线性投影,该子空间由回归变量,等的线性范围定义。...残余正交于整个子空间,因此(位于,等范围内)是与正交。zx1x2ϵz^x1x2ϵ
请注意,当我将定义为点积时,只是写(即SSTO = SSR + SSE)⟨.,.⟩⟨z,z⟩=⟨z^,z^⟩+⟨ϵ,ϵ⟩∑i(yi−y¯)2=∑i(y^i−y¯)2+∑i(yi−y^i)2