Questions tagged «deep-network»






2
深度残差网络是否应被视为网络的整体?
问题是关于深度残留网络(ResNets)的体系结构。该模型在所有五个主要方面均赢得了“ 2015年大规模视觉识别挑战赛”(ILSVRC2015)的第一名: ImageNet分类:“超深”(Yann引用)152层网 ImageNet检测:比第二个好16% ImageNet本地化:比第二名好27% COCO检测:比第二名好11% COCO细分:比第二名好12% 资料来源: MSRA @ ILSVRC和COCO 2015竞赛(演示,第二张幻灯片) 下一篇文章中描述了这项工作: 用于图像识别的深度残差学习(2015,PDF) Microsoft研究团队(ResNets的开发人员:何凯明,张向宇,任少清,孙健)在其文章中: “ 深度残留网络中的身份映射(2016年) ” 指出深度起着关键作用: “ 我们通过一个简单但必不可少的概念获得这些结果-更深入。这些结果证明了突破深度极限的潜力。 ” 他们的演讲中也强调了这一点(更深-更好): -“更深层次的模型不应具有更高的训练误差。” -“更深的ResNet具有较低的训练误差,也具有较低的测试误差。” -“更深的ResNet具有更低的错误。” -“所有人都将从更深的功能中受益–累积收益!” -“更深的更好。” 这是34层残差的结构(供参考): 但是最近,我发现了一种理论,该理论引入了对残差网络的新颖解释,从而表明它们是指数集合。 残留网络是相对浅网络的指数集合(2016) Deep Resnet被描述为许多浅层网络,其输出集中在不同的深度。文章中有一张图片。我附上解释: 残留网络通常显示为(a),它是等式(1)的自然表示。当我们将此公式扩展为方程式(6)时,我们获得了3块残差网络(b)的分解图。从这个角度来看,很明显,残余网络具有连接输入和输出的O(2 ^ n)个隐式路径,添加一个块会使路径数量加倍。 在文章的结尾指出: 不是深度,而是使残留网络强大的整体。残留网络推动了网络多样性的极限,而不是网络深度的极限。我们提出的未分解视图和病灶研究表明,残差网络是指数级许多网络的隐含集合。如果大多数造成梯度的路径与网络的整体深度相比都非常短,那么深度增加 本身并不是残余网络的关键特征。我们现在认为,多重性(即网络在路径数方面的可表达性)起着关键作用。 但是,只有最近的理论可以得到证实或反驳。有时会发生一些理论被驳回而文章被撤回的情况。 我们到底应该把ResNets视为一个整体吗?集合还是深度使残差网络如此强大?甚至开发人员自己也可能不太了解自己的模型代表什么以及模型中的关键概念是什么?

5
为什么深度神经网络和深度学习不足以实现一般智力?
与深度学习(DL)和深度(er)网络相关的所有事物似乎都是“成功的”,至少进展非常迅速,并培养了人们对AGI可以达到的信念。这是流行的想象力。DL是解决许多问题(包括创建AGI)的强大工具。但是,这还不够。工具是必需的成分,但通常不足。 该领域的领先者正在寻求其他方面的进步。本报告/声明收集了Yoshua Bengio,Yann LeCun和Geoff Hinton的声明的链接。。该报告还解释了: DL的主要缺点(如我所见)是:依赖最简单的模型神经元(LeCun称其为“卡通”);使用19世纪统计力学和统计学的思想,这些思想是能量函数和对数似然方法的基础;以及反向支撑和随机梯度下降等技术的结合,导致应用范围非常有限(脱机,主要是分批,有监督的学习),需要高才能的从业人员(又名“随机研究生下降”),且价格昂贵标记的训练数据和计算能力。虽然DL对于可以吸引或购买人才并部署无限资源以收集数据并处理数据的大型公司非常有用,但DL对我们大多数人而言既无用又无用。 尽管有趣且相关,但这种解释并不能真正解决问题的要点:缺少什么? 这个问题似乎很广泛,但可能是由于缺乏简单的答案。有没有办法确定AGI缺少的DL?



1
对于DNN的实际使用,白噪声有多少问题?
我读到深度神经网络可以相对容易地被愚弄(链接),从而使人们对完全(或至少大部分)不在置信对象范围内的合成/人工图像的识别具有很高的信心。 就我个人而言,我真的没有看到DNN对那些合成/人造图像具有高置信度的大问题,但是我认为对白噪声(链接)具有高置信度可能是一个问题,因为这是相机可能看到的一种真正的自然现象。在现实世界。 对于DNN的实际使用,白噪声有多少问题?可以通过某种方式防止从普通噪声中检测到这种误报吗?
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.