线性模型与非线性模型的区别

13

我已经阅读了有关线性模型与非线性模型的属性的一些解释，但是仍然有时我不确定手头的模型是线性模型还是非线性模型。例如，以下模型是线性的还是非线性的？

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

带有：

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

其中表示（衰减的）指数Almon多项式函数，其形式为： $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

在我看来，我的主要方程式（第一个方程式）相对于是线性的，因为该项只是乘以一个权重。但是我要说加权函数（最后一个方程）相对于参数 ans是非线性的。 $X_t$ $\theta_1$ $\theta_2$

有人可以向我解释我的主要函数是线性函数还是非线性函数，这对估计程序意味着什么-我必须应用线性或非线性最小二乘法吗？此外，可辨别的特征是什么，通过它我可以确定一个函数是非线性函数还是线性函数？

linear-model nonlinear-regression nonlinear

— DatamineR
source

17

使用关于建模的线性和非线性的常规定义，关键因素不是相对于预测变量的线性，而是相对于参数的线性。非线性模型是非线性的，因为它的参数不是线性的。

例如，这里的第一句话说：

在统计中，非线性回归是一种回归分析的形式，其中观测数据由一个函数建模，该函数是模型参数的非线性组合，并且取决于一个或多个独立变量。

与此相反，广义线性模型通常具有响应和预测，但链接变换平均响应之间的非线性关系（所述线性预测，）是线性的参数。 $\eta$

[根据该定义，我相信您的模型在是非线性的，尽管如果指定为（已知），则非线性与估计无关。如果它们适合，则该模型是非线性的。] $\theta$ $\theta$

— Glen_b-恢复莫妮卡
source

“关于参数”是什么意思？您能举两个线性和非线性的例子吗？

— NoName

1

我的意思是，参数必须是线性映射的参数；当我们写和，映射的和参数（输入）是参数向量（如系数（例如，回归分析或GLM中的线性预测变量）。请注意，在预期的意义上在中是线性的（即是线性映射）。作为一个示例，考虑。在x中不是线性的，但在是线性的。

f (c v) = c f (v)

$f(cv)=cf(v)$

f (u + v) = f (u) + f (v)

$f(u+v) = f(u)+f(v)$

u

$u$

v

$v$

f

$f$

η = X β

$\eta=X\beta$

β

$\beta$

η (β)

$\eta(\beta)$

E [Y] = β_{0} + β_{1} x + β_{2} \log (x)

$E[Y]=\beta_0+\beta_1x+\beta_2 \log(x)$

β

$\beta$

— Glen_b-恢复莫妮卡

1

同时是不是线性的，因为第三成分非线性进入..

E [Y] = β_{0} + β_{1} \exp (β_{2} x)

$E[Y]=\beta_0+\beta_1\exp(\beta_2 x)$

β

$\beta$

β

$\beta$

— Glen_b -Reinstate莫妮卡

9

我同意Glen_b。在回归问题中，主要重点是参数，而不是自变量或预测变量x。然后，人们可以决定是要使用简单的变换线性化问题还是照此进行。

线性问题：计算问题中的参数数量，并检查它们是否均具有幂1。例如，。该函数在是非线性的。但是对于回归问题，的非线性不是问题。必须检查参数是线性的还是线性的。在这种情况下，，， ...都具有幂1。因此，它们是线性的。 $y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

请注意，在，虽然a看起来具有幂1，但是在展开时。您可以清楚地看到它是一个非线性参数，因为a的幂大于1。但是，可以通过调用对数变换来线性化此问题。即，将非线性回归问题转换为线性回归问题。 $y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

类似地，是一个逻辑函数。它具有三个参数，即，和。参数和幂大于1，并且在展开时它们分别乘以因此，它们不是线性的，但是也可以使用适当的替换将它们线性化，方法是先设置，然后在两侧调用对数函数以线性化。 $y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

现在假设。关于参数，这再次是非线性的。但是，它不能被线性化。需要使用非线性回归。 $y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

原则上，使用线性策略解决非线性回归问题不是一个好主意。因此，使用线性回归解决线性问题（当所有参数都具有幂1时），如果参数是非线性的，则采用非线性回归。

在您的情况下，将权重函数替换回主函数中。参数将是唯一具有幂1的参数。所有其他参数都是非线性的（最终与和相乘（这两个都是非线性参数），因此也都是非线性的，因此这是一个非线性回归问题。 $\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

采用非线性最小二乘法求解。巧妙地选择初始值，并使用多起点方法来找到全局最小值。

这个观点会有所帮助（尽管它没有讨论全局解决方案）：http : //www.youtube.com/watch?v=3Fd4ukzkxps

在Excel电子表格中使用GRG非线性求解器（通过转到选项-加载项-Excel加载项，然后选择求解器加载项来安装求解器工具包），并通过在参数列表中指定间隔和要求，从而在选项列表中调用多重启动如果约束精度和收敛性较小，则可以得到整体解。

如果您使用的是Matlab，请使用全局优化工具箱。它具有multistart和globalsearch选项。在此处和此处，某些代码可用于全局解决方案。

如果您使用的是Mathematica，请看这里。

如果您使用的是R，请在此处尝试。

— 比皮
source

1

谢谢@Bipi提供的示例！对于第二个参数，如果设置Y =（a / y-1），如何将参数与变量y隔离？

— Vivek Subramanian

0

主要功能是线性的。

方程中是否出现非线性已知函数==> <== 没关系。 $B(L;\theta)$

如果我是你，我将采用线性最小二乘法。

这是您确认或拒绝线性的方式：

https://zh.wikipedia.org/wiki/非线性＃定义

你可能还喜欢：

https://zh.wikipedia.org/wiki/线性组合

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_（数学）

— 王牌弗拉姆
source

0

如果我在函数的上下文中进行解释，这将很容易理解。

线性：具有恒定斜率的函数。代数上，最高指数等于1的多项式。它是一个函数，其图形是一条线。例如，y=2x+3

非线性：具有与线性函数相反的属性的函数。具有变化斜率的函数。它是指数等于或大于2的多项式。它的图形不是线。例如，y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html][1]

— 伊尔法纳拉
source

线性统计模型与线性函数不同。由于线性是由模型参数而不是预测变量确定的，因此具有加性噪声的非线性函数仍可能是线性模型。

— Michael R. Chernick