Questions tagged «activation-function»

我根据需要的输出和已知的激活函数的属性为输出层选择激活函数。例如，当我处理概率时，我选择了S型函数；当我处理正值时，我选择了一个ReLU；当我处理一般值时，我选择了一个线性函数。 在隐藏层中，我使用泄漏的ReLU来避免死亡的神经元，而不是ReLU和tanh而不是乙状结肠。当然，我不会在隐藏单位中使用线性函数。 但是，在隐藏层中对它们的选择主要是由于反复试验。 在某些情况下，哪种激活功能可能会起作用，是否有任何经验法则？尽可能将情况称为“ 情境”：它可能是指该层的深度，NN的深度，该层的神经元数量，我们选择的优化程序，其输入特征的数量。到该NN的应用等 在他/她的答案中，cantordust指的是我未提及的其他激活功能，例如ELU和SELU。此信息非常受欢迎。但是，我发现激活功能越多，对于在隐藏层中使用的功能的选择我就越感到困惑。而且我不认为掷硬币是选择激活功能的好方法。

13 neural-networks  machine-learning  math  activation-function 

有几种激活功能，例如ReLU，Sigmoid或谭谭\tanh。混合激活功能会怎样？ 我最近发现Google开发了Swish激活功能，即（x * sigmoid）。通过更改激活函数，可以提高诸如XOR问题之类的小型神经网络问题的准确性吗？

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

我只是偶然发现了神经元覆盖率的概念，即神经网络中激活的神经元与总神经元之比。但是，神经元被“激活”是什么意思？我知道什么是激活函数，但是被激活意味着什么，例如在ReLU或S型函数的情况下？

10 neural-networks  ai-basics  concepts  activation-function 

我认为使用Leaky ReLU而不是ReLU的优势在于，这样我们就不会消失梯度。参数化ReLU具有相同的优势，唯一的区别在于，负输入的输出斜率是可学习的参数，而在Leaky ReLU中则是超参数。 但是，我无法确定是否存在使用ReLU代替Leaky ReLU或Parametric ReLU更方便的情况。

10 neural-networks  activation-function  relu