10 我只是偶然发现了神经元覆盖率的概念,即神经网络中激活的神经元与总神经元之比。但是,神经元被“激活”是什么意思?我知道什么是激活函数,但是被激活意味着什么,例如在ReLU或S型函数的情况下? neural-networks ai-basics concepts activation-function — 里昂 source
10 当神经元的输出大于阈值(通常为0)时,表示神经元被激活。 对于实施例: 时 一个= 瓦特Ť X + b > 0ÿ= R e l u (a )> 0ÿ=[RË升ü(一个)>0a = wŤx + b > 0一个=wŤX+b>0 乙状结肠或其他激活功能也是如此。 — 杰里米·布兰(JérémyBlain) source
4 谈论激活函数时,通常使用术语“激活”,该函数仅在激活函数的输入大于某个阈值时才输出值(0除外)。 特别是在讨论ReLU时,可以使用术语“激活的”。当输出大于0时,ReLU也将被“激活”,当输入大于0时,ReLU也将被“激活”。 其他激活函数(如sigmoid)始终返回大于0的值,并且没有任何特殊阈值。因此,术语“激活”在这里意义不大。 即使我们对此知之甚少,大脑中的神经元似乎也具有类似于某种激活功能的激活功能。 — 艾文德先生 source