神经体系结构：数据通知自动设计

神经网络的最新进展总结为一系列新颖的体系结构，这些体系结构的主要特征是其不断增加的设计复杂性。从LeNet5（1994）到AlexNet（2012），到Overfeat（2013）和GoogleLeNet / Inception（2014）等...

是否有任何尝试让机器根据数据决定/设计要使用的体系结构？

您可能还想看看有关神经进化的文献。例子：

• 扎雷巴，沃伊西奇。伊利亚·萨茨克（Ilya Sutskever）。Rafal Jozefowicz，“ 对递归网络体系结构的经验探索。 ”（2015年）：使用进化计算找到了最佳的RNN结构。
• 弗兰克·德农库尔特（Franck Dernoncourt）。“ 内侧网状结构：选择作用的神经基质？通过进化计算进行评估。 ”。硕士论文。乌尔姆高等师范学校。2011。
• 拜耳（Bayer），贾斯汀（Justin），达恩·维尔斯特（Daan Wierstra），朱利安·托格利乌斯（Julian Togelius）和尤尔根·施密德（JürgenSchmidhuber）。“ 不断发展的用于序列学习的存储单元结构。 ”国际人工神经网络会议，第755-764页。Springer Berlin Heidelberg，2009年。：使用进化计算找到最佳RNN结构。

强化学习：

• Pham，Hieu，Melody Y.guan，Barret Zoph，Quoc V.Le和Jeff Dean。“通过参数共享进行有效的神经体系结构搜索。” arXiv预印本arXiv：1802.03268（2018）。https://arxiv.org/pdf/1802.03268.pdf
• Zoph，Barret和Le，Quoc V.神经结构搜索与强化学习。在ICLR，2017年https://arxiv.org/abs/1611.01578
• Jose M Alvarez，Mathieu Salzmann。了解深度网络中神经元的数量。NIPS 2016 https://arxiv.org/abs/1611.06321

• Bowen Baker，Otkrist Gupta，Nikhil Naik，Ramesh Raskar。使用强化学习设计神经网络架构。https://arxiv.org/abs/1611.02167

• Barret Zoph，Quoc V. Le。神经架构搜索与强化学习。https://arxiv.org/abs/1611.01578

杂：

• Marcin Andrychowicz，Misha Denil，Sergio Gomez，Matthew W.Hoffman，David Pfau，Tom Schaul，Brendan Shillingford，Nando de Freitas。通过梯度下降学习学习。https://arxiv.org/abs/1606.04474
• 弗兰克·德农库尔特（Franck Dernoncourt），李季英（Ji Young Lee）使用高斯过程为对话行为分类优化神经网络超参数，IEEE SLT 2016。
• Cortes，Corinna，Xavi Gonzalvo，Vitaly Kuznetsov，Mehryar Mohri和Scott Yang。“ AdaNet：人工神经网络的自适应结构学习。” arXiv预印本arXiv：1607.01097（2016）。https://arxiv.org/abs/1607.01097：学习网络结构及其权重的方法。

似乎研究正在朝着这样的方向发展：

• Miconi，托马斯。“ 具有可微结构的神经网络。 ”，arXiv（2016）：作者介绍了可微网络结构的概念，将其包含在目标函数中。

Google的AutoML就是这样一个例子。它已成功应用于ImageNet数据集，由此产生了NASNet，在撰写本文时，其准确性已超过所有其他模型。主要论文在这里：

学习可扩展的体系结构以实现可扩展的图像识别-Zoph等 等