术语“饱和非线性”是什么意思？

我正在阅读具有深度卷积神经网络的ImageNet分类论文，在第3节中，他们解释了卷积神经网络的体系结构，并解释了如何使用以下方法：

非饱和非线性$f(x) = max(0, x).$

因为训练起来更快。在那篇论文中，他们似乎将饱和非线性称为CNN中使用的更传统的函数，S形和双曲正切函数（即$f(x) = tanh(x)$和$f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}$为饱和）。

他们为什么将这些功能称为“饱和”或“非饱和”？这些功能在什么意义上是“饱和”或“非饱和”的？这些术语在卷积神经网络的背景下意味着什么？它们是否用于其他机器学习（和统计）领域？

直觉

饱和激活功能会压缩输入。

定义

• $f$是非饱和当且仅当$(|\lim_{z\to-\infty} f(z)| = +\infty) \vee (|\lim_{z\to+\infty} f(z)| = +\infty)$
• $f$是饱和的，如果$f$不是非饱和的。

这些定义并不特定于卷积神经网络。

例子

经整流的线性单元（RELU）的激活功能，其被定义为$f(x)=max(0,x)$是非饱和因为$\lim_{z\to+\infty} f(z) = +\infty$：

乙状结肠激活函数，定义为$f(x) = \frac{1}{1 + e^{-x}}$是饱和的，因为它南瓜实数范围之间$[0,1]$：

$[-1,1]$

（图来自MIT许可证CS231n）

最常用的激活功能是LOG和TanH。这些函数的范围很紧凑，这意味着它们将神经反应压缩为实数的有界子集。LOG将输入压缩为0到1之间的输出，将TAN H压缩为-1和1之间的输出。这些函数在边界处显示限制行为。

在边界处，输出相对于输入∂yj/∂xj的梯度非常小。因此，梯度很小，因此收敛的步幅较小，因此收敛时间较长。