我应该使用GPU还是CPU进行推理？

我正在运行由GPU训练的深度学习神经网络。现在，我想将此部署到多个主机以进行推断。问题是什么条件决定我应该使用GPU还是CPU进行推理？

在下面的评论中添加更多详细信息。

我对此并不陌生，因此非常感谢您的指导。

• 内存：GPU是K80

• 框架：Cuda和cuDNN

• 每个工作负载的数据大小：20G

• 计算要消耗的节点：每个作业一个，尽管要考虑扩展选项

• 费用：如果理由合理，我可以负担得起GPU选项

• 部署：在自己托管的裸机服务器上运行，而不是在云中。

现在，我在CPU上运行只是因为应用程序运行正常。但是出于这个原因，我不确定为什么还要考虑使用GPU。

@丹@SmallChess，我完全不同意。的确，GPU可以利用许多并行化来进行训练，从而加快训练速度。对于推理，这种并行化可能会少得多，但是CNN仍将从中获得优势，从而可以更快地进行推理。现在您只需要问自己：更快的推理重要吗？我是否需要这种额外的依赖关系（良好的GPU，已安装的正确文件等）？

如果速度不是问题，请使用CPU。但是请注意，根据我的经验，GPU可以使它快一个数量级。

在GPU而不是CPU上运行推理将使您获得的速度与训练时几乎相同，而内存开销却很少。

但是，正如您所说，该应用程序可以在CPU上正常运行。如果您到达了推理速度成为应用程序瓶颈的地步，则升级到GPU将缓解该瓶颈。

您只需要使用GPU进行培训，因为深度学习需要大量的计算才能得出最佳解决方案。但是，您不需要GPU机器进行部署。

让我们以苹果的新iPhone X为例。新款iPhone X具有用于面部检测的高级机器学习算法。Apple员工必须拥有用于培训和验证的机器集群。但是您的iPhone X不需要GPU即可运行模型。