如果数字值仅是估计值,为什么不为AI返回模拟?


18

二十世纪从模拟电路向数字电路过渡的动力来自对更高精度和更低噪声的渴望。现在,我们正在开发结果近似且噪声为正值的软件。

  • 在人工网络中,我们使用梯度(Jacobian)或二级模型(Hessian)来估计收敛算法中的下一步,并定义可接受的不准确度和不确定性水平。1个
  • 在收敛策略中,我们有意通过注入随机或伪随机扰动来添加噪声,以通过在收敛过程中实质上跳出优化表面中的局部最小值来提高可靠性。2

我们在当前的AI系统中接受并故意引入的东西与将电子设备推向数字电路的事物相同。

为什么不回到神经网络的模拟电路,并用运算放大器矩阵而不是数字信号处理元件矩阵来实现呢?

可以使用通过D-A转换器充电的集成电容器来维持人工网络学习参数的值,从而使学习状态可以受益于数字准确性和便利性,而正向传播则受益于模拟优势。

  • 更高的速度3
  • 代表网络单元的晶体管数量减少了几个数量级
  • 自然热噪声4

在过去的四十年中,关于模拟人工网络的学术文章或专利搜索揭示了许多工作,并且研究趋势得以保持。计算模拟电路已经很好地开发,并为神经阵列提供了基础。

当前对数字计算的痴迷会否笼罩AI架构选择的普遍看法?

混合模拟是人工网络的高级架构吗?

 


脚注

[1] PAC(可能近似正确)学习框架将可接受的误差ϵ和可接受的疑问δ与特定模型类型的学习所需的样本量相关联。(注意1个-ϵ表示准确性和1个-δ代表在这个框架的信心。)

[2]显示了随机梯度下降,当使用适当的策略和超参数时,可以在学习过程中更快地收敛,并且正在成为典型的人工网络实际应用中的最佳实践。

[3]英特尔酷睿i9-7960X处理器以4.2 GHz的加速速度运行,而标准的固定卫星广播为41 GHz。

[4]通过放大和过滤在雪崩点处反向偏置的齐纳二极管两端的电子泄漏,可以在硅上获得热噪声。量子现象的根源是约翰逊·奈奎斯特热噪声。Sanguinetti等。等 在“移动电话上的量子随机数生成”(2014年)中指出,“可以将检测器建模为具有传输概率η的有损通道,然后将其建模为具有单位效率的光子电子转换器...测量的分布将是量子不确定性和技术噪声的结合”,还有加州理工学院的JTWPA工作。这两个都可能成为在集成电路中产生真正不确定的量子噪声的标准。

参考文献


1
我会说你在做某事。有一些努力将AI放入模拟芯片中(我认为Apple可能正在用iphone做一些事情)。我不确定已经完成了多少研究,但是我确定您可以在某处找到一些白皮书。绝对值得研究。我的预测是,很快就会有可编程的AI芯片,它们具有一定数量的输入和输出(类似于总线寄存器的Kinda)。
Zakk Diaz

这不是一个完整的答案,但我怀疑主要问题是成本。印刷电路在规模上超级便宜,小批量仍然相当昂贵。离散GPU已经量产,并且可以“很好地”工作。模拟芯片通常只能很好地完成一项任务,并且首选型号会迅速改变。可以对分立芯片进行编程以执行许多不同的操作。如果我们找到了ANN的“最佳”拓扑,那么也许再次制造模拟芯片是有意义的。
John Doucette

1
哇。我在该网站的第一天,发现有人与我分享想法。:-D

Answers:


6

我认为有多种原因。首先:灵活性。借助现代的CPU和GPU,您几乎可以构建所需的每个AI模型,并构建所需的各种大小和复杂性。您如何确定当前使用的模型在几年后仍然适用?未来几年,NN可能会有重大突破吗?也许有些科学家发现,开发一种AI的方法比使用NN,遗传算法等更好的方法。普通芯片可以处理所有这些事情,并且可以很好地处理它。但是,如果您想对其进行优化并且不担心金钱,可以开发一种专门的体系结构(这已经由其他公​​司完成,这可以大大提高特定任务的速度)。

原因二:批量生产。我的意思是,公司最终可以生产高度集成的模拟AI组件(例如,NN芯片)。但这将是一笔更大的投资。尚不清楚是否足够容易灵活地用作AI硬件的替代品,是否可以轻松地以批量生产的方式生产,从而与CPU和GPU竞争。特别是后者经过高度优化,可以进行大规模并行计算。而且,如果您观看了针对机器学习而专门优化的GPU相似体系结构的开发(能做的很少,但是做得很好),您会发现这对模拟单元来说将是一场艰苦的竞争。

以上所有内容并不意味着该领域没有任何研究。有一些实验试图证明这一点,但是对于通用架构而言,它们还不是“危险的”。最终,当我们更好地了解人工智能和智能并试图进行调整时,它们会在将来出现,但我对此持怀疑态度。

编辑:另外,还有些东西属于灵活性:您可以更好地试验在“正常”数字硬件上运行的AI算法。例如,您可以轻松地在某些位置检查NN,可以快速修改输入数据或提供替代数据,而您实际上不受任何约束。而且,由于我们仍然不完全了解或理解每个模型,何时使用哪种模型,如果对于某个特定任务有更好的架构等,那么将“年轻的”和“实验性的”放入固定的模拟中是没有意义的。建筑。


尽管规模经济(纯粹的制造业规模)在今天偏向于数字化,但它在1980年代不是,而在2040年代则不是。晶体管比模拟便宜。每个线程在CUDA内核中有128,000个晶体管,而在多路运算放大器中只有40个晶体管。更重要的是,这个问题是理论上的-什么才是最有意义的技术-而不是在当前的VLSI经济状况下什么是经济的。在过去的一百年里,如果我们能看到某种形式的技术,那就是今天的正常状态就是明天的博物馆作品。—阅读赏金要求可能会有所帮助。
FauChristian

但是在这种情况下不是很相似吗?现在大规模开发该硬件在经济上是没有道理的,但在技术上也不可行。我们只是不够了解。

如果“我们”是AI Stack Exchange的成员,则存在一种趋势,即流行的Python库中已经实现了什么。但是政府和大公司似乎也对增加网络和模拟VLSI感兴趣,例如USAF和Intel。机器人实验室正朝着模拟的方向发展,神经认知研究人员认为ANN不适合中间N。真正的神经元比ReLU功能复杂数千倍。对于什么应用程序尚不清楚,什么将成为主导,但这并不等于没有足够的知识来讨论选项。
FauChristian

您可能已经在问题中读了“纯”一词。正在进行的研究都没有建议使用纯模拟设备,而用转盘代替键盘和CRT代替LCD。文献中和主动VLSI开发中的所有最新提议都遵循一个众所周知的范例:模拟可编程的(非固定的)模拟程序,可以像数字人工网络那样学习程序,然后在硅中实现,而不会删除可编程性或学习能力。实时信号可以是模拟信号,数字信号或两者都可以,但芯片的总体控制是数字的,例如GPU或DSP。
FauChristian

悬赏期将很快结束,这个答案还没有解决模拟学习是否有意义,因为它可以利用容易获得的量子噪声。问题没有表明预测。此外,似乎只有针对感知器,卷积和尖峰网络的模拟计算的大量预算可能会占上风,但前提是长期生存能力是合理的。这样的问题。
FauChristian

6

快速回答

当英特尔收购Nirvana时,他们表示相信模拟VLSI在不久的将来的1、2、3的神经形态芯片中占有一席之地。

是否由于能够更轻松地利用模拟电路中的自然量子噪声的能力尚未公开。由于并行激活功能的数量和复杂性可以打包到单个VLSI芯片中,因此这种可能性更大。在这方面,模拟比数字具有优势。

AI Stack Exchange成员加快这种强有力的技术发展速度可能是有益的。

人工智能的重要趋势和非趋势

为了科学地解决这个问题,最好在没有趋势偏差的情况下对比模拟和数字信号理论。

人工智能爱好者可以在网上找到有关深度学习,特征提取,图像识别以及要下载并立即开始进行实验的软件库的很多信息。这是大多数人被技术弄湿的方式,但是对AI的快速介绍也有其不利之处。

如果不了解面向消费者的AI的早期成功部署的理论基础,就会形成与这些基础冲突的假设。诸如模拟人工神经元,尖峰网络和实时反馈之类的重要选项被忽略了。形式,功能和可靠性的改进受到损害。

对技术开发的热情应始终至少以同等数量的理性思维来调和。

收敛性与稳定性

在通过反馈实现准确性和稳定性的系统中,模拟和数字信号值始终仅是估计值。

  • 收敛算法中的数字值,或更准确地说,是旨在收敛的策略
  • 稳定运算放大器电路中的模拟信号值

在思考这个问题时,了解数字算法中通过纠错进行收敛与通过模拟仪表中通过反馈实现稳定性之间的并行性非常重要。这些是使用现代术语的相似之处,左侧为数字,右侧为模拟。

────────────────────────┬──────────────── ────────────┐
│*数字人工网*│*模拟人工网*│
├──────────────────────────┼────────────── ────────────┤
│前向传播│主信号路径│
├──────────────────────────┼────────────── ────────────┤
│错误功能│错误功能│
├──────────────────────────┼────────────── ────────────┤
│收敛│稳定│
├──────────────────────────┼────────────── ────────────┤
│饱和度│输入饱和│
├──────────────────────────┼────────────── ────────────┤
│激活功能│转发功能│
└────────────────────────── ────────────┘

数字电路的普及

数字电路普及率上升的主要因素是其对噪声的控制。当今的VLSI数字电路发生故障的平均时间很长(遇到错误位值的情况之间的平均时间)。

虚拟噪声的消除使数字电路在测量,PID控制,计算和其他应用方面优于模拟电路。使用数字电路,可以测量到五位十进制的精度,以惊人的精度进行控制,并且可以重复且可靠地计算π至一千位十进制的精度。

最初,航空,国防,弹道和对策预算增加了制造需求,以实现数字电路制造的规模经济。对显示分辨率和渲染速度的需求正在推动GPU现在用作数字信号处理器。

这些主要由经济因素引起的最佳设计选择吗?基于数字的人工网络是否是珍贵的VLSI房地产的最佳利用方式?这是这个问题的挑战,这是一个好问题。

IC复杂性的现实

如评论中所述,在硅中实现一个独立的,可重复使用的人工网络神经元需要数万个晶体管。这主要是由于矢量矩阵相乘导致进入每个激活层。每个人工神经元只需几十个晶体管即可实现矢量矩阵乘法和该层运算放大器阵列。运算放大器可以设计成执行诸如二进制步进,S形,软加,ELU和ISRLU之类的功能。

舍入产生的数字信号噪声

数字信号并非没有噪声,因为大多数数字信号都是四舍五入的,因此是近似值。反向传播中的信号饱和首先显示为由这种近似产生的数字噪声。当信号始终四舍五入为相同的二进制表示形式时,会进一步饱和。

vËķññ是。

v=ñ=0ñ1个ñ2ķ+Ë+ñ-ñ

当预期为0.2的答案显示为0.20000000000001时,程序员有时会遇到双精度或单精度IEEE浮点数舍入的效果。五分之一不能完美地表示为二进制数,因为5不是2的因数。

媒体炒作与流行趋势的科学

Ë=C2

与许多技术产品一样,在机器学习中,有四个关键质量指标。

  • 效率(提高速度和使用经济性)
  • 可靠性
  • 准确性
  • 易理解性(可维护性)

有时但并非总是如此,一个人的成就会损害另一个人的利益,在这种情况下,必须取得平衡。梯度下降是一种收敛策略,可以通过很好地平衡这四个因素的数字算法来实现,这就是为什么它是多层感知器训练和许多深度网络中的主导策略。

在贝尔实验室的第一个数字电路或第一个用真空管实现的触发器之前,这四件事是Norbert Wiener早期控制论工作的核心。控制论一词源自希腊语κυβερνήτης(发音为kyvernítis),意为舵手,舵和帆必须补偿不断变化的风和潮流,而船舶必须收敛到预定的港口或港口。

这个问题的趋势驱动思想可能围绕是否可以实现VLSI来实现模拟网络规模经济的想法,但其作者给出的标准是避免趋势驱动观点。如上所述,即使不是这种情况,与数字电路相比,用模拟电路生产人工网络层所需的晶体管也要少得多。因此,假设注意力集中在实现VLSI模拟上,而以合理的成本实现该目标是非常可行的,则可以合理地回答这个问题。

模拟人工网络设计

全世界都在研究模拟人工网,包括IBM / MIT合资企业,英特尔的Nirvana,Google,早在1992年5的美国空军,特斯拉等,其中一些在评论和附录中指出。题。

人工网络模拟的兴趣与学习中涉及的并行激活功能的数量有关,这些并行激活功能可以适合平方毫米的VLSI芯片面积。那在很大程度上取决于需要多少个晶体管。衰减矩阵(学习参数矩阵)4需要向量矩阵乘法,这需要大量的晶体管,因此需要大量的VLSI空间。

如果要用于完全并行训练,则基本多层感知器网络中必须有五个独立的功能组件。

  1. 向量矩阵乘法可参数化每一层激活函数之间的正向传播幅度
  2. 保留参数
  3. 每一层的激活功能
  4. 保留激活层输出以应用于反向传播
  5. 每层激活函数的导数

在模拟电路中,由于信号传输方法固有的更大的并行性,可能不需要2和4。反馈理论和谐波分析将通过使用像Spice这样的模拟器应用于电路设计。

CpC[R[RŤCŤ一世一世w一世 τp和每激活晶体管和其衍生物电路的数量分别。τ一种τd

C=CpC[RŤCdŤ一世=0一世-2τpw一世w一世-1个+τ一种w一世+τdw一世+τ一种w一世-1个+τdw一世-1个

对于当前模拟集成电路中这些电路的通用值,我们需要为模拟VLSI芯片付出一定的成本,该成本会随时间收敛至比具有等效训练并行度的数字芯片低至少三个数量级的值。

直接解决噪声注入

问题指出:“我们正在使用梯度(Jacobian)或二阶模型(Hessian)来估计收敛算法中的下一步,并故意添加噪声[或]注入伪随机扰动,以通过跳出误差中的局部井来提高收敛可靠性。在收敛过程中浮出水面。”

在训练过程中将伪随机噪声注入收敛算法的原因是,在实时可重入网络(例如增强网络)中,这是因为视差(错误)表面中存在局部最小值,而不是该分布的全局最小值表面。全局最小值是人工网络的最佳训练状态。局部最小值可能远非最佳。

该表面说明了参数的误差函数(在此高度简化的案例6中为两个)和局部最小值的问题隐藏了全局最小值的存在。表面的低点表示最佳训练收敛的局部区域的临界点的最小值。7,8

错误表面显示如何错过全局最优值

误差函数只是对训练期间当前网络状态与所需网络状态之间差异的度量。在人工网络的训练过程中,目标是找到这种差异的全局最小值。无论样本数据是标记还是未标记,以及训练完成标准是在人工网络内部还是外部,都存在这种表面。

如果学习率很小并且初始状态位于参数空间的起点,则使用梯度下降法的收敛将收敛到最左边的井,这是局部最小值,而不是右边的全局最小值。

即使初始化用于学习的人工网络的专家足够聪明,可以选择两个最小值之间的中点,但该点处的梯度仍然朝着左手最小值倾斜,并且收敛将达到非最佳训练状态。如果培训的最优性很关键(通常如此),那么培训将无法获得生产质量的结果。

使用的一种解决方案是在收敛过程中增加熵,这通常只是注入伪随机数发生器的衰减输出。较少使用的另一种解决方案是分支训练过程,并尝试在第二个收敛过程中注入大量的熵,以便并行进行保守搜索和有点狂野的搜索。

的确,与数字伪随机数发生器相比,极小的模拟电路中的量子噪声从其熵到信号频谱的一致性更高,并且需要更少的晶体管来获得更高质量的噪声。嵌入政府和公司的研究实验室尚未公开是否已经克服了在VLSI实现中这样做的挑战。

  • 在训练过程中,用于注入一定量的随机性以提高训练速度和可靠性的这种随机元素是否足以抵抗外部噪声?
  • 是否充分屏蔽了内部串扰?
  • 是否会产生需求,以充分降低VLSI的制造成本,以达到在资金雄厚的研究型企业之外更广泛使用的目的?

这三个挑战都是合理的。可以肯定并且也非常有趣的是,设计人员和制造商如何促进对模拟信号路径和激活功能的数字控制,以实现高速训练。

脚注

[1] https://ieeexplore.ieee.org/abstract/document/8401400/

[2] https://spectrum.ieee.org/automaton/robotics/artificial-intelligence/analog-and-neuromorphic-chips-will-rule-robotic-age

[3] https://www.roboticstomorrow.com/article/2018/04/whats-the-difference-between-analog-and-neuromorphic-chips-in-robots/11820

[4]衰减是指从一个驱动输出的信号乘以一个可训练的光度计,以提供一个加和项,该加和项将与其他加和器相加,以输入到下一层的激活中。尽管这是一个物理术语,但它经常用在电气工程中,并且它是描述矢量矩阵乘法功能的合适术语,该功能可以在较少受过教育的圈子中实现加权图层输入。

[5] http://www.dtic.mil/dtic/tr/fulltext/u2/a256621.pdf

[6]人工网络中有两个以上的参数,但是在此图示中仅描绘了两个,因为该图只能在3-D中理解,并且我们需要三个维度之一作为误差函数值。

[7]表面定义: ž=X-22+ÿ-22+60-401个+ÿ-1.12+X-0.92-401个+ÿ-2.22+X-3.124

[8]关联的gnuplot命令:

set title "Error Surface Showing How Global Optimum Can be Missed"
set xlabel "x"
set ylabel "y"
set pm3d at b
set ticslevel 0.8
set isosample 40,40
set xrange [0:4]
set yrange [0:4]
set nokey
splot (x-2)**2 + (y-2)**2 + 60 \
    - 40 / sqrt(1+(y-1.1)**2+(x-0.9)**2) \
    - 40 / (1+(y-2.2)**2+(x-3.1)**2)**4

4

模拟单元的数字仪器

模拟人工网络中的主要挑战之一是,如果使用数字设备,网络仪器将是最实用的。模拟感知器,卷积或尖峰网络的任何VLSI实现都可能需要将数字组件混合配置以实现多种功能。

  • 健康指标
  • 故障指示灯
  • 存档和检索学习的参数1
  • 整体系统控制
  • 设置超参数
  • 运营统计
  • 内省开发和调试
  • 断点
  • 可审核性

这意味着要实现通用模拟人工学习网络,将需要A-to-D和D-to-A转换。2因此,VLSI设计面临的挑战是避免因引入大量转换模块而积聚晶体管。这样会破坏前向和后向传播的模拟实现的密度优势。

可能的解决方案是使用锁存矩阵将信号从D-A转换器分配到电容器,并使用低泄漏开关矩阵选择A-D转换器将读取哪个值。必须做到这一点,不要将数字噪声引入模拟路径,也不能降低存储的电荷或降低其充电精度。

只有通过执行VLSI设计过程才能发现在主网络电路外的附加晶体管和路由的数量有多重要。

重要的开源贡献

马萨诸塞州大学于2018年2月推出了开源BindsNet存储库3,4。它使用数字软件和硬件模拟模拟尖峰网络,并通过PyTorch利用GPU加速。

这有助于当今对尖峰网络设计和策略的实验。如果足够重要,可以成功使用仿真,这可能会导致出色的VLSI设计。


脚注

[1]在任何实际的学习系统中,必须从VLSI实现中提取学习到的参数,并将其存储在数据库中,并提供给任何数量的开发,测试,UAT或生产系统以用于部署,缺陷根本原因分析,扩展和灾难恢复。保存和加载必须是VLSI混合模拟人工网络的基本功能,即使在训练期间和实际使用期间也是如此。

[2]无法无限期地将人工网络的学习状态保持在电容器中。尽管电容器已成为标准CMOS工艺中设计的模拟电路的主要无源组件,但它们的电容不能太大,泄漏量也不为零。电容性存储电路的半衰期以及所需的参数值精度将决定读取和条件更新周期的速率。

[3] BindsNet开源存储库

[4] BindsNET [论文]:Python的面向机器学习的尖峰神经网络库,用于哈佛大学BindsNet论文摘要的出版。


4

令我惊讶的是,没有人提到模拟AI领域的一些具体研究方向。而且,要弄清楚人工智能与该答案所暗示的机器学习并不完全相同。模拟计算的最新进展仅在机器学习领域。

模拟CMOS:

首先,让我们谈谈神经元的最早模拟实现。Giacomo Indiveri博士等是该领域的先驱者。尽管可以使用CMOS逻辑设计具有STDP(峰值依赖于时间的可塑性)的峰值神经网络,但是很难在机器学习算法中使用。人脑尚待充分了解,尤其是它如何以尖峰方式传达复杂的信息。基于尖峰的网络擅长执行相对较小的图像识别和低复杂度的任务(大多数论文似乎更关注于提高性能,而不是应用于高度复杂的任务)。由于可用的晶体管数量众多,我们也许可以在复杂的任务中使用它。

最好的例子是Google使用大量处理单元,从而在时间,精度和面积之间做出某种折衷,从而在TPU中使用低精度和补偿精度的想法。这可能类似于处理器中的大量晶体管,尽管精度较低。(深入了解Google的第一个Tensor处理单元(TPU)

注意:有人可能会说CMOS技术属于数字领域,但是由于我们此处未专门使用CMOS来执行任何数字操作,因此我想将其视为模拟。

基于秒杀的任务显然对于Winner Take All网络(有点像自组织图)非常好,因此它是在VLSI芯片中实现机器学习算法的通用方法。

基于Spike的网络没有理想的内存,您不能拥有高精度的权重。他们提议使用电容器来实现生物学的权重,突触或记忆,但显然它面临着与普通硅芯片类似的问题,例如电荷泄漏以及其他基于硅的非理想性,而且据我所知,他们还可以对有限的权重进行建模(例如-1,0,1)。

数字计算:

这里是数字计算。需要大量浮点表示的任务不能简单地通过尖峰来实现,因为我们还不知道,甚至不能完全模仿生物物理或真正神经元的任何方面。数字计算只是帮助传递更多的信息,并且具有我们所希望的精度(如果我们设计了这样的CPU)。尽管瓶颈是冯·诺依曼(Von Neumann)体系结构用于数字计算的已知缺点,但它与通过尖峰表示信息的问题相比,并不是什么大问题。尖峰始终具有固定的幅度,它可能传达信息的唯一方式是通过其频率和符号(兴奋或抑制)。在现代计算机中,时钟速度也很高。

忆阻器:新方向

这里出现了最近的发明,忆阻器。迄今为止,它已成为机器学习中最有前途的模拟设备。忆阻器是70年代预测的非常新的概念,仅在2008年才生产。基本上,它们是RRAM或电阻式RAM。在这种情况下,记忆电阻器忆阻器的电阻与过去的当前历史直接相关,这与神经元的生物物理模型非常相似。还可以使用忆阻器的交叉开关阵列(基本上是电触点矩阵)轻松地训练它们(交叉开关阵列将代表重量矩阵,沿行或沿列施加的电压确定正向传播或反向传播)。

因此,忆阻器为机器学习算法提供了真正的模拟旋转。不幸的是,由于它的到来,有很多问题尚未解决。

  • 忆阻器可以很快退化,即它们的培训周期有限。
  • 忆阻器会引入很多噪声,这显然对ML工程师可能认为的正则化没有帮助。
  • 制作所需的异国元素(Ť一世Ø2HFØ2)学术界的忆阻器用户非常有限。但是一些在此领域工作的实验室是:

普渡大学纳米电子研究实验室

苏黎世联邦理工学院电化学材料

人脑计划

MARCS大脑,行为与发展研究所

神经形态光子学:

最近,人们对神经形态光子学领域产生了兴趣。这是一篇简短的文章。我不熟悉它的内部工作原理,但AFAIK涉及在处理芯片本身内部以光学形式传输信息。与普通的模拟或数字电路相比,这带来了一些优势:

  • 更快的信息处理。
  • 更高的信息密度。
  • 由于损失极少,因此数据保真度更高。

旁注:我的一些观察是基于事实的,而有些则纯粹是出于记忆,所以我可能是错的(因为我是该领域的初学者)。随时指出错误。
DuttaA

2

我相信大多数人已经以一种非常有用的方式认真地回答了这个问题。我只想说我们通常使用数字电路,因为这是现有技术,并且绝对可以肯定模拟电路是有希望的。

然而,目前,尽管过去几年进行了大量研究,但这种想法还没有得到很好的发展。到目前为止,还没有公司试图在商业水平上实现这一想法,他们正在制造这种芯片供实验室外使用。

此外,这种想法感觉很新,具有很大的潜力。

但是,由于我们对某些模型的工作方式缺乏了解,因此有些模型并没有解决问题。神经网络如何真正解决此类复杂问题以及许多其他事情。因此,要发挥其全部潜力仍然是一项遥远的技术。

附注:我仍然是该领域的初学者,并认为我的观点并不重要,如果我在任何地方都很冗长或未能给您期望的答案,我将对此表示遗憾。


这个答案表明了思想。确实,在可编程模拟VLSI方面,现有技术没有显示出与数字技术一样大的进步。...数十年来,美国海军和DARPA模拟控制研发的成果是未知的。仅初始文档已解密。ICBM和对策技术都可能是100 GHz范围内的模拟智能电路。或不。...您的写作既不多余也不幼稚。当然,在开源中,这些技术才刚刚开始被看到。好答案。随意保留它或进一步发展它。
FauChristian

2

人们也可以从信息论的角度来解决这个问题:

有两个权衡取舍:

模拟信息可能以更精确/特定的方式表示信息,但数量有限。

数字信息不能完全代表现实世界,但可能在几位之内包含无限量的信息。一个很好的例子可能是诸如递增循环:

i = 0
while True:
   print(i)
   i += 1

那么哪一个功能更强大?


通常是这样。考虑一下在AI上下文中学习意味着什么。我们已经通过带有元规则的规则系统,人工网络,马尔可夫链的扩展,模糊逻辑以及各种各样的其他技术和体系结构,对机器中的各种学习进行了模拟。学习发生时,学习会尝试获得某种最佳行为。模拟或数字系统如何收敛(实时)或跟踪到最佳行为,并且具有长期优势?
FauChristian

1

哈瓦·西格曼

乍一看,模拟计算优于数字计算。量子计算机比冯·诺依曼计算机快,神经形态芯片比英特尔CPU所需的能量更少。同样从理论的角度来看,许多人都在谈论模拟计算机。Hava Siegelmann研究了神经网络的超级图灵功能,这意味着模拟计算机可以模拟数字计算机,而不能模拟数字计算机。那么为什么不使用模拟计算呢?

斯蒂芬·沃尔夫拉姆

原因与教育制度有关。在学校教授的古典数学是模拟数学。它基于计算尺,对数表和电路中的思想。相反,思考算法的离散值并用零和1来描述世界是根本不同的,这使我们产生了一种新型的数学。Stephen Wolfram解释说,对细胞自动机的理解是描述宇宙的重要一步,他是正确的。忽略模拟数学并偏爱使用能讲数字语言的计算机语言是一种有效的教育方法。它不仅有助于熟悉计算机,而且对医学,文学和经济等所有其他事物也很有帮助。即使模拟机在技术上具有优势,我们也应该选择速度较慢但离散的图灵机,

数学教学

为了理解数字和模拟计算之间的区别,我们必须关注学校本身所使用的数学本身。如果您的想法是推动模拟计算向前发展,则围绕电场,积分和微分对适当的数学进行分组。在学校中,这是用统称为“数学分析”的方式来教授的。过去这个主题非常重要,因为分析有助于建造桥梁,机器和汽车。在所有这些领域中,都使用用于描述几何空间的矢量代数。

如果模拟计算功能如此强大,为什么有人需要数字数学?它与算法有关。平面仪和差分分析仪不必提供编程功能。不可能定义算法和人工语言。回顾一下数学的历史,可以发现算法理论在过去并不是很普遍。在现代数学中,它是用Lambda微积分Halting问题来讨论的。

有趣的是,乍一看Lamda演算没有实际应用。如果有人要计算桥的面积,则不需要它。算法理论是一门提高批判性思维的思想流派。这是人类需要的哲学,而不是机器需要的哲学。


很高兴您提到Seigelmann。第二段在逻辑上很难遵循。当然,教育对这个问题至关重要,而DNA测序和数字成像无疑已改善了医学。您能详细说明文学如何发展吗?有人会认为,数字计算加剧了经济波动,但对赏金要求更为重要,为什么有人会喜欢慢速离散而不是快速连续,这并非沃尔夫拉姆的说法所依据。也没有引用该语句。您可以提供参考并提供缺少的逻辑吗?
FauChristian
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.