在任何任务上,模块化神经网络是否都比大型整体网络更有效?
模块化/多个神经网络(MNN)围绕训练较小的独立网络而形成,它们可以相互馈入或与另一个较高的网络交流。 原则上,分层组织可以使我们理解更复杂的问题空间并获得更高的功能,但是似乎很难找到过去就此进行的具体研究的示例。我找到了一些资料: https://zh.wikipedia.org/wiki/Modular_neural_network https://www.teco.edu/~albrecht/neuro/html/node32.html https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y 我有几个具体问题: 最近有没有关于使用MNN的研究? MNN表现出比大型单个网络更好的性能吗? MNN是否可以用于多模式分类,即在根本不同的数据类型(文本还是图像)上训练每个网络,并转发到对所有输出进行操作的高级中介? 从软件工程的角度来看,这些不是在分布式系统上更具容错性且易于隔离吗? 是否使用神经结构搜索之类的方法来动态调整子网的拓扑结构? 通常,MNN是否以任何方式实用? 道歉,如果这些问题看起来很幼稚,我只是从生物学/神经科学背景进入ML,甚至更广泛地进入CS,并被潜在的相互作用所吸引。 非常感谢您抽出宝贵的时间为您提供见解!