为什么多项式回归被视为多元线性回归的特例？

38

如果多项式回归建模非线性关系，那么如何将其视为多元线性回归的特殊情况？

Wikipedia指出：“尽管多项式回归将非线性模型拟合到数据中，但作为统计估计问题，它是线性的，这是因为在估计的未知参数中回归函数是线性的从数据中。” $\mathbb{E}(y | x)$

如果参数是 2 阶项的系数，则多项式回归如何在未知参数中线性化？ $\ge$

— 加维纳
source

4

要估计的参数是（多）线性的。如果您要估计指数值，则估计问题将不是线性的；但平方预测修复了指数在精确的2

— 恢复莫妮卡

我的理解是，@ user777的注释以及下面的答案不仅适用于多项式回归，而且适用于使用预测变量双射的任何回归。例如任何可逆函数，例如，等（显然，加上一些其他函数，因为第2次幂不是双射的）。

l o g (x)

$log(x)$

e^{x}

$e^x$

— naught101

感谢大家; 所有的答案和评论都很有帮助。

— gavinmh'4

53

当您拟合回归模型时，例如，模型和OLS估计器不会“知道”只是平方的平方，它只是“认为”这是另一个变量。当然，存在一些共线性，并且将其纳入拟合（例如，标准误差比其他情况可能更大），但是许多变量对可能在某种程度上是共线性的，而其中一个变量并不是另一个的函数。 $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

我们不认识到模型中确实存在两个单独的变量，因为我们知道最终与我们转换并包含的变量相同，以便捕获和之间的曲线关系。知道的真实性质，再加上我们相信和之间存在曲线关系，这使我们很难从模型的角度理解它仍然是线性的方式。另外，我们可视化和 $x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ $x_i$ $x^2_i$ 通过查看3D函数在2D平面上的边际投影来实现。 $x, y$

如果只有和，则可以尝试在完整的3D空间中对其进行可视化（尽管要真正看到正在发生的事情仍然相当困难）。如果您确实在整个3D空间中查看了拟合函数，则会发现拟合函数是2D平面，而且它是平面。正如我说的那样，很难看到清晰的图像，因为数据仅沿着穿过该3D空间的曲线存在（事实是它们共线性的视觉表现）。我们可以在这里尝试这样做。想象一下，这是合适的模型： $x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

在此处输入图片说明

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

在此处输入图片说明

在这些图像中可能更容易看到这些图像，这些图像是使用该rgl软件包使用相同数据制作的旋转3D图形的屏幕截图。

在此处输入图片说明

当我们说一个“参数线性”的模型实际上是线性的时，这不仅仅是一些数学上的诡辩。使用变量，可以在维超空间（在我们的示例中为3D空间中的2D平面）中拟合维超平面。那个超平面确实是“平坦的” /“线性的”。这不仅仅是一个隐喻。 $p$ $p$ $p\!+\!1$

— gung-恢复莫妮卡
source

17

因此，一般的线性模型是在未知参数中呈线性的函数。多项式回归（例如是二次函数，但系数，和线性的。更一般而言，一般线性模型可以表示为，其中是矢量输入任意函数 -看到可以包括任何交互项（之间分量）之类的。 $y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— 女王蜂
source

14

考虑模型

y_{i} = b_{0} + b_{1} x_{i}^{n_{1}} + \dots + b_{p} x_{i}^{n_{p}} + ϵ_{i} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

可以重写为

y = X b + ϵ; X = (\begin{matrix} 1 & x_{1}^{n_{1}} & \dots & x_{1}^{n_{p}} \\ 1 & x_{2}^{n_{1}} & \dots & x_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{n_{1}} & \dots & x_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— 莫基德
source