7
如果数字值仅是估计值，为什么不为AI返回模拟？
二十世纪从模拟电路向数字电路过渡的动力来自对更高精度和更低噪声的渴望。现在，我们正在开发结果近似且噪声为正值的软件。 在人工网络中，我们使用梯度（Jacobian）或二级模型（Hessian）来估计收敛算法中的下一步，并定义可接受的不准确度和不确定性水平。1个 在收敛策略中，我们有意通过注入随机或伪随机扰动来添加噪声，以通过在收敛过程中实质上跳出优化表面中的局部最小值来提高可靠性。2 我们在当前的AI系统中接受并故意引入的东西与将电子设备推向数字电路的事物相同。 为什么不回到神经网络的模拟电路，并用运算放大器矩阵而不是数字信号处理元件矩阵来实现呢？ 可以使用通过D-A转换器充电的集成电容器来维持人工网络学习参数的值，从而使学习状态可以受益于数字准确性和便利性，而正向传播则受益于模拟优势。 更高的速度3 代表网络单元的晶体管数量减少了几个数量级 自然热噪声4 在过去的四十年中，关于模拟人工网络的学术文章或专利搜索揭示了许多工作，并且研究趋势得以保持。计算模拟电路已经很好地开发，并为神经阵列提供了基础。 当前对数字计算的痴迷会否笼罩AI架构选择的普遍看法？ 混合模拟是人工网络的高级架构吗？ 脚注 [1] PAC（可能近似正确）学习框架将可接受的误差ϵϵ\epsilon和可接受的疑问δδ\delta与特定模型类型的学习所需的样本量相关联。（注意1 − ϵ1个-ϵ1 - \epsilon表示准确性和1 - δ1个-δ1 - \delta代表在这个框架的信心。） [2]显示了随机梯度下降，当使用适当的策略和超参数时，可以在学习过程中更快地收敛，并且正在成为典型的人工网络实际应用中的最佳实践。 [3]英特尔酷睿i9-7960X处理器以4.2 GHz的加速速度运行，而标准的固定卫星广播为41 GHz。 [4]通过放大和过滤在雪崩点处反向偏置的齐纳二极管两端的电子泄漏，可以在硅上获得热噪声。量子现象的根源是约翰逊·奈奎斯特热噪声。Sanguinetti等。等 在“移动电话上的量子随机数生成”（2014年）中指出，“可以将检测器建模为具有传输概率η的有损通道，然后将其建模为具有单位效率的光子电子转换器...测量的分布将是量子不确定性和技术噪声的结合”，还有加州理工学院的JTWPA工作。这两个都可能成为在集成电路中产生真正不确定的量子噪声的标准。 参考文献 使用卷积神经网络的STDP学习图像补丁，Saunders等。等 2018，U Mass和HAS 具有有限精度模拟计算的通用代码加速，Amant等。等，2014年 新的MIT编译器推动了模拟计算和生物学仿真的发展，作者：Devin Coldewey，2016年 模拟计算收益，拉里·哈迪斯蒂（Larry Hardesty），2016年* 为什么要进行模拟计算？，NSA解密文件 回到模拟计算：Columbia研究人员将模拟和数字计算融合在一个芯片上，Columbia U，2016年 可重构计算的现场可编程纵横制阵列（FPCA），Zidan等。等，IEEE，2017年 FPAA /忆阻器混合计算基础架构，Laiho等。等，IEEE，2015年 活细胞计算的基础和新兴范例，Ma，Perli，Lu，哈佛大学，2016 面向硬件发展的CMOS现场可编程晶体管阵列的灵活模型Zebulum，Stoica，Keymeulen，NASA / JPL，2000年（FPAA） 定制线性阵列每个芯片可集成多达48个精密运算放大器，Ashok Bindra，2001年，电子设计 …