0
GPU VRAM带宽对神经网络训练的重要性
简而言之,问题是:GPU的VRAM带宽真的是深度神经网络的瓶颈吗? 更长的版本:一个名叫Tim Dettmers的人在他的博客中写道,图形处理器本身的所有相关操作都比带宽可以提供新数据更快。似乎合理。但是现在我昨天做了自己的表现并发现,我的GPU并非如此。这是一款配备1GB VRAM的Nvidia GTX 560TI。正如你所看到的,这是一张非常慢的卡,并没有太多的VRAM。随着AlexNet和128x128图像和批量大小4 - 更大的不适合我的VRAM - 情况是这样的:2200 Mhz内存时钟:13:34分钟1650 Mhz内存时钟:14:17分钟 几乎没有加速。95.3%的时间内存时钟速度为1 1/3。现在情况可能就是这样,在我的情况下,grahics处理器真的要慢,或者批量大小只是很小,因此它受PCIe带宽(PCIe 2.0)的限制。我也在自己的网上尝试了大约1百万个参数和各种批量大小,最多1024个,40x40图像。它几乎没有任何区别。 在我不那么有代表性的实验之后,我仍然不确定关于GPU性能的重要性是什么。 编辑:在这种情况下,框架是Nvidia数字与Nvidia caffe fork。我知道我的GPU非常慢,但我的问题一般是对GPU的影响。