神经网络的计算能力是否与激活函数有关

证明了具有合理权重的神经网络具有通用图灵机神经网络的图灵可计算性的计算能力。从我得到的结果来看，使用实值权重似乎可以产生更大的计算能力，尽管我不确定这一点。

但是，神经网络的计算能力与其激活函数之间是否存在任何关联？例如，如果激活函数将输入与Specker序列的限制进行比较（这是常规Turing机器无法做到的，对吗？），这是否会使神经网络在计算上“更强”？有人可以指出我在这个方向上的参考吗？

请注意：

• 具有布尔激活函数（简单阈值）的有理加权递归等效于有限状态自动机（Minsky，“计算：有限和无限机器”，1967）；$NN$

• 具有线性S形激活函数的合理加权递归等效于Turing Machines（Siegelmann和Sontag，“ 关于神经网络的计算能力 ”，1995年）；$NN$

• 具有线性S形激活函数的实加权递归比图灵机更强大（Siegelmann和Sontag，“ 通过神经网络进行模拟计算 ”，1993年）；$NN$

但是...

• 在输出上带有高斯噪声的实加权递归不能识别任意常规语言（Maass和Sontag，“ 具有高斯或其他常见噪声分布的模拟神经网络无法识别任意常规语言 ”，1995年）；$NN$

我将采用简单的解决方案并说“是”。考虑一个激活函数，该函数接受任何输入并仅返回一个常量值（也就是说，它忽略输入）。该网络总是产生恒定的输出，因此该网络的计算能力（可能是任何定义）为零。它无法计算任何内容。

这足以显示激活功能与网络功率之间的相关性。当然，它并没有显示或证明网络比通用图灵机具有更大的功能。