“高度非线性”是什么意思？

27

我经常读到一个有关“高度非线性”的函数。以我的理解，有“线性的”和“非线性的”，那么“高度”是什么？与非线性有形式上的区别吗？如何定义？

terminology nonlinear mathematical-statistics

— 托比·泰耶多（Toby El Tejedor）
source

8

非正式地：“不要期望能够轻松地将输入的更改映射到输出的更改。”

— keshlam

2

您是否在有关深度学习的论文中阅读了此内容？高度非线性的函数逼近是深度学习的动机之一，因为浅层网络很难模拟Joe在其答案中描述的事物。

— Neil G

1

我会说这取决于您在哪里阅读。如果这是由精通数学的人写的，那么这可能意味着（到目前为止）提供了什么答案。如果它是由医生或生物学家等从业者撰写的，则可能意味着这种关系不是笔直的，而是高度弯曲的。根据我的经验，大多数人认为线性回归是指将直线拟合到数据，这可能是造成混淆的原因之一。

— RomanLuštrik2014年

不，我不是@NeilG。

— Toby El Tejedor 2014年

1

这不是一个单独定义的术语-物理学家与该术语相比倾向于具有与密码学家完全不同的含义。没有更多的上下文，这个问题就无法正确回答-我们会猜测上下文（或者我们必须考虑每个不同的问题）。

— Glen_b-恢复莫妮卡2015年

44

我认为没有正式的定义。我的印象是，这不仅意味着它不仅是非线性的，而且尝试以线性近似对其建模也不会产生合理的结果，甚至可能会导致拟合方法不稳定。有人也可能用它简单地表示小的输入变化会导致输出的变化与直觉相反。

— 韦恩
source

2

（+1），为“高度非线性”提供非常明智的标准/内容（线性近似可能会使情况更糟）。

— Alecos Papadopoulos 2014年

16

从形式上讲，我相信可以说二阶导数与零有很大不同。如果0是所关注域上二阶导数的“合理”近似值，则它接近线性，但如果不是，则非线性效应的捕获就变得非常重要。

我很少听到这样的术语适用于相对简单的多项式，通常在实际使用中似乎适用于发散的动力学系统（混沌理论的事物）或非常不平滑的函数（其中高阶导数为非零））。

— 乔
source

3

顺便说一句，“平滑”实际上是一个技术术语，表示每个导数都存在。x -> e^x平滑，即使其所有阶数的导数到处都是非零:-)

— Steve Jessop 2014年

10

其他优秀答案中缺少的重要方面是领域。例如，为 $f(x)=x^2$

高度非线性的上但是 $[-10;10]$
未在任一半的域（即，在两个和人能够使用的线性近似而不立即灾难）。 $[-10;0]$ $[0;10]$ $f$

另一个例子是是 $f(x)=x^3-x$

高度非线性的上但是 $[-1;1]$
未对更大的域 $[-10;;10]$

— sds
source

我不同意

。它总是高度非线性的周围0。考虑

，其中

。这对您有何影响？它甚至没有线性项（显然），根本不能线性近似。

x^{2}

$x^2$

x = [0.1, 0.2, 0.3]

$x =[0.1,0.2,0.3]$

f (x) = [0.01, 0.04, 0.09]

$f(x)=[0.01,0.04,0.09]$

— 2014年

3

@Aksakal：该函数当然不是线性的（在任何地方），但是，正如我说的，“一个人可以使用f的线性逼近而不会立即造成灾难”

— sds

1

任何函数都可以用一条线来近似，这只是近似程度有多差的问题。在x \ in [0，0.5]中，错误不是那么糟糕。

— 乔

8

$y=f(x)$ $\sigma^2=var[x]$ $f(x+\sigma)\approx f(x)+f'(x)\sigma$ $f(x)=exp(x^2)$ $x$ $1+x^2+x^4/2+O(x^5)$

— 阿克萨卡尔族
source

1

非正式地...“高度非线性”的意思是“即使一个盲人也能看到它不是一条直线！” ;）我个人认为这是一个危险的信号，当与实际示例结合使用时，它会以某种方式“炸开你的脸”。

河内塔被称为高度非线性的例子……传说是当和尚完成一个64磁盘堆栈时，世界将终结。如果您将花费在培训，进食，居住和激励每个人支持一项无聊的无意义的多代任务上的总时间算在内，那么我期望以工时为单位的总成本真的会爆炸！

— 伊格吉
source

1

作为专业的数学家，我可以证实“高度非线性”不是数学上精确定义的术语。:)

我想不到的是“什么都没有”。

非线性是精确的，与线性相反（很明显）。

但是线性以两种不同的含义出现：

$f(x) = ax+b$
$f(x) = ax$ $b$

$(ax + b)$

— 德米特里·扎伊采夫（Dmitri Zaitsev）
source

1

到目前为止，这是唯一的答案，我会同意;）（+1）是过时的！

— Raaja