激活神经网​​络中的神经元意味着什么?


10

我只是偶然发现了神经元覆盖率的概念,即神经网络中激活的神经元与总神经元之比。但是,神经元被“激活”是什么意思?我知道什么是激活函数,但是被激活意味着什么,例如在ReLU或S型函数的情况下?

Answers:


10

当神经元的输出大于阈值(通常为0)时,表示神经元被激活。

对于实施例: 一个= 瓦特Ť X + b > 0

ÿ=[RËü一个>0
一个=wŤX+b>0

乙状结肠或其他激活功能也是如此。


4

谈论激活函数时,通常使用术语“激活”,该函数仅在激活函数的输入大于某个阈值时才输出值(0除外)。

特别是在讨论ReLU时,可以使用术语“激活的”。当输出大于0时,ReLU也将被“激活”,当输入大于0时,ReLU也将被“激活”。

其他激活函数(如sigmoid)始终返回大于0的值,并且没有任何特殊阈值。因此,术语“激活”在这里意义不大。

即使我们对此知之甚少,大脑中的神经元似乎也具有类似于某种激活功能的激活功能。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.