1 混合激活功能会怎样？ 有几种激活功能，例如ReLU，Sigmoid或谭谭\tanh。混合激活功能会怎样？ 我最近发现Google开发了Swish激活功能，即（x * sigmoid）。通过更改激活函数，可以提高诸如XOR问题之类的小型神经网络问题的准确性吗？ 10 neural-networks machine-learning activation-function relu sigmoid
1 ReLU与Leaky ReLU和Parametric ReLU（如果有）相比有什么优势？ 我认为使用Leaky ReLU而不是ReLU的优势在于，这样我们就不会消失梯度。参数化ReLU具有相同的优势，唯一的区别在于，负输入的输出斜率是可学习的参数，而在Leaky ReLU中则是超参数。 但是，我无法确定是否存在使用ReLU代替Leaky ReLU或Parametric ReLU更方便的情况。 10 neural-networks activation-function relu