人脑与神经网络的功率效率

如果我们用于计算的总能量预算等于人脑的能量预算（12.6瓦），那么我们现在可以运行多少个大型人工神经网络（使用完整的火车-反向传播周期或仅评估网络输出）？

假设每秒一个周期，这似乎与生物神经元的放电速度大致相符。

1.26瓦的1.26亿个人工神经元，以及IBM的True North

早在2014年，IBM的True North芯片以不到100mW的功率推动了100万个神经元。

因此，在12.6瓦时，大约有1.26亿个人工神经元。

一个鼠标拥有7000万元。

IBM相信他们可以以“仅” 4kW的速度构建人脑规模的True North大型机。

一旦3D晶体管投放市场，我认为我们将很快赶上动物大脑的效率。

如果将自己的功率限制为12.6瓦，那么您将无法完成很多工作。只需查找现代GPU的功耗，查看人们正在其上训练的网络规模，然后缩小规模即可。作为参考，现代GPU 在大量使用下的功耗似乎在52-309瓦之间。

显然，能源效率是人脑仍远远超出人工神经网络领域之一。