多GPU系统PCIe通道要求

我正在构建一个用于科学计算的多GPU机器。我打算将Xeon E5-2620v3 CPU与华硕X99-E WS主板配对，安装3-4个Titan X GPU。 CPU提供40个PCIe通道，芯片组提供额外的通道，因此可以在40通道CPU上运行最多四个x16设置。困扰我的是来自有限带宽的理论性能影响。如果GPU将不断从RAM加载数据，对于几乎100％GPU负载的应用程序来说，有多重要？我应该选择使用2个CPU吗？

— Eli Korvigo
source

如果它以1KB / s的速度“不断加载”则无关紧要。所以，答案当然是：这取决于。另外，有限的带宽是什么？

— Daniel B

@DanielB PCI-lane（无交换机）的数量限制了GPU的数据带宽。它将不断加载千兆字节的内存。

— Eli Korvigo

我很确定2×8GT / s QPI能胜任这项工作。同样，你没有指定所需的 吞吐量 。如果我在ISDN上，我也可以“不断加载千兆字节”的数据。您需要考虑数据传输的时间和方式：不断地随着时间的推移或每隔一段时间进行一次大转移？真正传输了多少数据？传输数据涉及的开销是多少？

— Daniel B

@DanielB很可能每张卡每1-5秒需要加载100 GB的数据。

— Eli Korvigo

英特尔ARK称：“最大内存带宽：59 GB / s”，所以这是一个没有。您可能想重新考虑您的努力。

— Daniel B

检查加密货币采矿场的指南。这非常接近您的需求。对于大多数与计算相关的情况，1x PCIe吞吐量就足够了。因此，您可以使用标准Windows驱动程序为每个主板连接最多8个GPU（使用rizers）。更多gpus需要专门的操作系统和驱动程序支持。

— Anton Krouglov
source