是否有可能凭经验估算出在普通消费级GPU上可训练的神经网络的大小？例如：
的步态（加固）的出现纸列车使用神经元的tanh激活的网络。它们具有3层NN，其中300,200,100单位用于Planar Walker。但是他们没有报告硬件和时间...
但是可以发展一条经验法则吗？同样仅基于当前的经验结果，例如：
使用S型激活的X单位可以在1060上每小时运行Y个学习迭代。
或使用激活功能a代替b会导致性能下降。
如果学生/研究人员/好奇心的人打算购买GPU来与这些网络一起玩耍，那么您如何决定获得的结果呢？1060显然是入门级预算选项，但是如何评估仅获得一台笨拙的上网本而不是构建高功率台式机并将节省的资金用于按需云基础架构，是否更明智。
问题的动机：我刚购买了1060，并且（聪明，以后问这个问题吧）想知道我是否应该保留$并创建一个Google Cloud帐户。而且，如果我可以在GPU上运行我的硕士论文模拟。
Answers:
通常问题是将模型拟合到视频RAM中。如果不是这样，您将不费吹灰之力就无法训练模型（例如分别训练模型的各个部分）。如果是这样，时间是您唯一的问题。但是，像Nvidia 1080这样的消费类GPU与像Nvidia K80这样昂贵的GPU加速器之间的培训时间差异并不是很大。实际上，最好的消费类卡比GPU加速器要快，但缺少诸如VRAM之类的其他属性。随机比较和基准：http://timdettmers.com/2017/04/09/which-gpu-for-deep-learning/，https://medium.com/@alexbaldo/a-comparison-between-nvidias-geforce -gtx-1080和tesla-p100用于深度学习81a918d5b2c7
要计算模型是否适合VRAM，只需估算多少数据以及拥有的超参数（输入，输出，权重，图层，批大小，哪种数据类型等等）。
作为警告，我建议除非开发神经网络架构，否则除非您突破基本技术限制，否则计算速度和资源对于设计原理应该是次要的。
就是说，在今年早些时候，我完成了我的硕士论文，该论文涉及具有完整基因组测序数据的生物信息学分析管道-根据我们的集群工作经理，该项目花费了超过100,000小时的计算时间来开发。当您处于最后期限时，资源可能是真正的限制，而速度可能至关重要。
因此，根据我的理解回答您的问题：
我会更好地利用这些钱在云中购买时间吗？
大概。您在1060上花费的几百美元将带您进一步在云中训练模型。此外，据我所知，您不要求GPU在100％的时间内启动（例如，如果您要开采加密货币，则需要）。最后，借助云实例，您可以扩展规模，一次训练多个模型，这可以加快对您建立的任何架构的探索和验证。
有没有办法在给定的GPU上衡量神经网络的计算时间
好吧，Big O是一个估计量，但听起来您想要一种更精确的方法。我相信它们确实存在，但是我反驳说，您可以通过简单的回溯计算来做出估算，这些计算考虑了线程，内存，代码迭代等。您是否真的想深入研究GPU上的GPU处理管道1060？通过了解代码和架构之间发生的一切，您也许可以得出一个很好的估计，但是最终可能不值得花费时间和精力。它可能会确认Big O表示法（如果您愿意的话，可以使用简单模型）捕获了计算时间的大部分变化。如果发现瓶颈，您可以做的一件事就是性能分析。
这取决于您的需求。您可以在任何资源上训练任意大小的网络。问题是训练的时间。如果要在平均CPU上训练Inception，则需要花费数月的时间才能收敛。因此，这完全取决于您可以等待多长时间才能看到基于网络的结果。就像在神经网络中一样，我们不仅有一个操作，而且还有很多操作（例如级联，最大池，填充等），因此在搜索时无法进行估计。只需开始训练一些臭名昭著的网络并测量时间即可。然后，您可以插值训练搜索网络所需的时间。