为什么多项式回归被视为多元线性回归的特例?


38

如果多项式回归建模非线性关系,那么如何将其视为多元线性回归的特殊情况?

Wikipedia指出:“尽管多项式回归将非线性模型拟合到数据中,但作为统计估计问题,它是线性的,这是因为在估计的未知参数中回归函数是线性的从数据中。”E(y|x)

如果参数是 2 阶项的系数,则多项式回归如何在未知参数中线性化?


4
要估计参数是(多)线性的。如果您要估计指数值,则估计问题将不是线性的;但平方预测修复了指数在精确的2
恢复莫妮卡

我的理解是,@ user777的注释以及下面的答案不仅适用于多项式回归,而且适用于使用预测变量双射的任何回归。例如任何可逆函数,例如,等(显然,加上一些其他函数,因为第2次幂不是双射的)。log(x)ex
naught101

感谢大家; 所有的答案和评论都很有帮助。
gavinmh'4

Answers:


53

当您拟合回归模型时,例如,模型和OLS估计器不会“知道”只是平方的平方,它只是“认为”这是另一个变量。当然,存在一些共线性,并且将其纳入拟合(例如,标准误差比其他情况可能更大),但是许多变量对可能在某种程度上是共线性的,而其中一个变量并不是另一个的函数。 y^i=β^0+β^1xi+β^2xi2xi2xi

我们不认识到模型中确实存在两个单独的变量,因为我们知道最终与我们转换并包含的变量相同,以便捕获和之间的曲线关系。知道的真实性质,再加上我们相信和之间存在曲线关系,这使我们很难从模型的角度理解它仍然是线性的方式。另外,我们可视化和xi2xixiyixi2xiyixixi2通过查看3D函数在2D平面上的边际投影来实现。 x,y

如果只有和,则可以尝试在完整的3D空间中对其进行可视化(尽管要真正看到正在发生的事情仍然相当困难)。如果您确实在整个3D空间中查看了拟合函数,则会发现拟合函数是2D平面,而且它是平面。正如我说的那样,很难看到清晰的图像,因为数据仅沿着穿过该3D空间的曲线存在(事实是它们共线性的视觉表现)。我们可以在这里尝试这样做。想象一下,这是合适的模型: xixi2xi,xi2

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

在此处输入图片说明

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

在此处输入图片说明

在这些图像中可能更容易看到这些图像,这些图像是使用该rgl软件包使用相同数据制作的旋转3D图形的屏幕截图。

在此处输入图片说明

当我们说一个“参数线性”的模型实际上是线性的时,这不仅仅是一些数学上的诡辩。使用变量,可以在维超空间(在我们的示例中为3D空间中的2D平面)中拟合维超平面。那个超平面确实是“平坦的” /“线性的”。这不仅仅是一个隐喻。 ppp+1


17

因此,一般的线性模型是在未知参数中呈线性的函数。多项式回归(例如是二次函数,但系数,和线性的。更一般而言,一般线性模型可以表示为,其中是矢量输入任意函数 -看到可以包括任何交互项(之间分量)之类的。y=a+bx+cx2xabcy=i=0Naihi(x)hixhix


14

考虑模型

yi=b0+b1xin1++bpxinp+ϵi.

可以重写为

y=Xb+ϵ;X=(1x1n1x1np1x2n1x2np1xnn1xnnp).
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.