ReLU激活函数的导数是什么？

ReLU激活函数的导数定义为：

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

在处函数不连续的特殊情况呢？ $x=0$

self-study neural-networks

— 汤姆·黑尔
source

导数是：

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

并且在未定义。 $x=0$

在未定义的原因是其左导数和右导数不相等。 $x=0$

— 吉姆
source

因此，在实践中（实现），对于情况，人们只是选择还是？

0

$0$

1

$1$

x = 0

$x=0$

— 汤姆·黑尔

惯例是drdx = 1（x> 0）

— neuroguy123 '18

@TomHale为什么不使用？实际实施是另一回事，值得提出新的问题。这只是数学。

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

— 吉姆（Jim）

@TomHale，请参阅quora.com/…上Nouroz Rahman的回答：“ [...]在我看来，在内置库函数中（例如：），将x = 0的导数取零以确保稀疏矩阵...”tf.nn.relu()

— Jim