动态调整NN架构：发明不必要的东西吗？

我开始了我的博士之旅，而我自己设定的最终目标是开发ANN，以监控他们工作的环境并动态调整体系结构以解决当前的问题。明显的含义是数据的暂时性：如果数据集不是连续的并且不会随时间变化，那么为什么要进行调整呢？

最大的问题是：随着深度学习的兴起，它仍然是一个相关的话题吗？FFNN是否有机会在概念漂移问题中找到自己的位置？

我担心会给线程带来过多的问题，但这并不是完全不合时宜的事情：我知道RNN，但是我对它们的经验有限（可以，没有，或者纯粹是理论上的）；我相信在RNN的背景下，动态架构适应必须是一个相关主题。问题是，它是否已经得到回答，我会重新发明轮子吗？

PS交叉发布以进行MetaOptimize

级联相关神经网络在训练过程中通过添加隐藏节点来调整其结构，因此这可能是一个起点。我见过的大多数其他工作都使用进化算法来自动调整神经网络的层数，隐藏节点数等。

不幸的是，这项工作不在我的研究范围之内，因此我无法推荐任何特定的论文或参考资料来帮助您入门。我可以告诉你，我还没有见过任何尝试在深度学习社区中同时优化网络结构和参数的工作。实际上，大多数深度学习体系结构都是基于一次一次贪婪地学习单个层的基础，因此，即使是对深度神经网络的在线学习也几乎没有涉及到这一领域（Martens等人关于Hessian Free Optimization的工作是一个明显的例外）。

考虑开发构造性神经网络的新颖方法（如提到的CC算法@alto）的另一个原因是在统计之外的应用中。特别是在理论神经科学和认知科学中，由于与发育和神经发生的隐喻相似性，经常使用建设性神经网络。有关为此大量使用级联相关的示例，请查看Thomas R. Shultz的出版物。不幸的是，级联相关方法在生物学上是不现实的，如果您有神经科学的偏见，则值得考虑如何将具有可调结构的新神经网络用作更好的发展和/或神经发生模型。