GPU VRAM带宽对神经网络训练的重要性

简而言之，问题是：GPU的VRAM带宽真的是深度神经网络的瓶颈吗？

更长的版本：一个名叫Tim Dettmers的人在他的博客中写道，图形处理器本身的所有相关操作都比带宽可以提供新数据更快。似乎合理。但是现在我昨天做了自己的表现并发现，我的GPU并非如此。这是一款配备1GB VRAM的Nvidia GTX 560TI。正如你所看到的，这是一张非常慢的卡，并没有太多的VRAM。随着AlexNet和128x128图像和批量大小4 - 更大的不适合我的VRAM - 情况是这样的：2200 Mhz内存时钟：13：34分钟1650 Mhz内存时钟：14：17分钟

几乎没有加速。95.3％的时间内存时钟速度为1 1/3。现在情况可能就是这样，在我的情况下，grahics处理器真的要慢，或者批量大小只是很小，因此它受PCIe带宽（PCIe 2.0）的限制。我也在自己的网上尝试了大约1百万个参数和各种批量大小，最多1024个，40x40图像。它几乎没有任何区别。

在我不那么有代表性的实验之后，我仍然不确定关于GPU性能的重要性是什么。

编辑：在这种情况下，框架是Nvidia数字与Nvidia caffe fork。我知道我的GPU非常慢，但我的问题一般是对GPU的影响。