如何分辨线性和非线性回归模型之间的区别？

27

我正在阅读有关非线性回归SAS Non Linear的以下链接。通过阅读第一部分“非线性回归与线性回归”，我的理解是下面的方程实际上是线性回归，对吗？如果可以，为什么？

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

我是否也了解非线性回归中的多重共线性不是问题？我知道多重共线性可能是线性回归中的一个问题，因此，如果上述模型实际上是线性回归，那么肯定会存在多重共线性吗？

— mHelpMe
source

密切相关：stats.stackexchange.com/questions/33876。

— ub

还相关：“曲线”是什么意思？

— gung-恢复莫妮卡

35

在（至少）三种意义上，回归可以被视为“线性”。 为了区别它们，让我们从一个非常通用的回归模型开始

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

为了使讨论简单，将固定且精确测量的自变量（而不是随机变量）作为固定变量。他们每个属性的观察进行建模，从而产生响应的向量。按照惯例，表示为矩阵，为列向量。（有限矢量）包括参数。是向量值的随机变量。通常有 $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ 组件，但有时更少。函数是向量值的（分量与匹配），通常假定函数的后两个参数（和）是连续的。 $f$ $n$ $Y$ $\theta$ $\varepsilon$

在是数字向量的情况下，将行拟合到数据的原型示例是x值; 是个数的并行向量；给出截距和斜率 ; 和是“随机误差”的向量，其分量是独立的（并且通常假设具有相同但未知的均值零分布）。在前面的符号中 $(x,y)$ $X$ $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

与。 $\theta = (\alpha,\beta)$

回归函数在其三个参数中的任何一个（或全部）中可以是线性的：

“线性回归或“线性模型”通常表示是参数线性函数。在这种意义上，“非线性回归”的SAS含义是，并假设在第二个变量是可微的。参数（参数）：此假设使查找解决方案更加容易。 $f$ $\theta$ $f$
A“之间的线性关系和手段”是线性的函数关系。 $X$ $Y$ $f$ $X$
当在为线性时，模型具有加法误差。在这种情况下，始终假定。（否则，将视为“错误”或与“正确”值的“偏差”是不正确的。） $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

这些特征的所有可能组合都可能发生并且很有用。 让我们调查一下可能性。

具有加性误差的线性关系的线性模型。 这是普通的（多重）回归，上面已经显示过，并且更普遍地写为

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
$X$ 如果需要，可以通过邻接一列常量来扩展，并且是向量。 $\theta$ $p$
具有加性误差的非线性关系的线性模型。 这可以通过增加的列来表述作为多元回归与非线性函数本身。例如， $X$ $X$

$y_{i} = α + β x_{i}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
是这种形式。它在是线性的 $\theta=(\alpha,\beta)$ ; 它具有附加误差；并且它是线性的中的值即使是的非线性函数。 $(1,x_i^2)$ $x_i^2$ $x_i$
具有非累加误差的线性关系的线性模型。 一个例子是乘法误差，

$y_{i} = (α + β x_{i}) ε_{i} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
（在这种情况下，可以解释为“乘法错误”时的位置是然而，位置的正确感觉是不一定的期望。了：这可能是中位数或例如，几何平均数。在所有其他非加性误差情况下，比照适用于位置假设的类似注释也适用。） $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
具有非累加误差的非线性关系的线性模型。 例如，

$y_{i} = (α + β x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
具有加性误差的线性关系的非线性模型。 非线性模型涉及其参数的组合，这些参数不仅是非线性的，甚至无法通过重新表达参数来线性化。
- 作为非示例，请考虑
  
  $y_{i} = α β + β^{2} x_{i} + ε_{i} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  通过定义和，和限制，这种模式可被重写 $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{i} = α^{'} + β^{'} x_{i} + ε_{i},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  将其展示为线性模型（具有与附加误差的线性关系）。
- 作为一个例子，考虑
  
  $y_{i} = α + α^{2} x_{i} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  不可能找到依赖于的新参数，该参数会将其线性化为的函数（同时在中也保持线性）。 $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
具有加性误差的非线性关系的非线性模型。

$y_{i} = α + α^{2} x_{i}^{2} + ε_{i} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
具有非累加误差的线性关系的非线性模型。

$y_{i} = (α + α^{2} x_{i}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
具有非累加误差的非线性关系的非线性模型。

$y_{i} = (α + α^{2} x_{i}^{2}) ε_{i} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

尽管它们表现出八种不同的回归形式，但它们不能构成分类系统，因为某些形式可以转换为其他形式。一个标准示例是具有非加性误差的线性模型的转换（假设具有正支持）

y_{i} = (α + β x_{i}) ε_{i}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

成可经由对数与添加剂误差的非线性关系的线性模型，

\log (y_{i}) = μ_{i} + \log (α + β x_{i}) + (\log (ε_{i}) - μ_{i})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

这里，日志几何平均值已经从误差项移除（以确保它们具有零种手段，根据需要），并纳入其它术语（其中它的值将需要估计）。确实，重新表达因变量一个主要原因是创建一个具有加法误差的模型。重新表达还可以根据参数和解释变量（或两者）的函数线性化 $\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

共线性

（在中的列向量的）共线性在任何形式的回归中都可能是一个问题。理解这一点的关键是要认识到共线性会导致估计参数时遇到困难。抽象且相当普遍地，比较两个模型和，其中是，其中一列稍有变化。如果这引起估计的巨大变化 $X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ 和，那么我们显然有问题。出现此问题的一种方法是在线性模型中（在中为线性）（即，上面的类型（1）或（5）），其中的分量与的列一一对应。。当一列是另一列的非平凡线性组合时，其相应参数的估计值可以是任何实数。这就是这种敏感性的极端例子。 $\hat\theta$ $\hat\theta^\prime$ $X$ $\theta$ $X$