iSCSI / NFS性能非常差的故障排除策略

9

我们有一个新的Synology RS3412RPx，它为三个Windows 2008 R2盒提供iSCSI目标，为一个OpenBSD 5.0盒提供NFS。

使用ssh登录到RS3412并使用dd和各种块大小读取/写入小文件和6GB文件均显示出出色的磁盘I / O性能。

在iSCSI / NFS客户端上使用dd或iometer，我们可以达到20Mbps（不是错字。二十Mbps）。我们有点希望在Synology中更好地利用多个Gbit NIC。

我已验证交换机和NIC端口配置已设置为千兆位，而不是自动协商。我们已经尝试过和不使用巨型帧，两者之间没有差异。我通过ping验证了MTU当前为9000。已部署了两个固件升级。

我将尝试在iSCSI目标和启动器之间建立直接链接以排除交换机问题，但是我还有其他选择吗？

如果我中断了wireshark / tcpdump，我会寻找什么？

performance nfs iscsi troubleshooting

— 亚历克斯·霍尔斯特（Alex Holst）
source

是否启用了流量控制？之间有什么样的转换？

— SpacemanSpiff 2012年

@SpacemanSpiff：未启用流控制。您希望这会有所作为吗？这是ZyXEL GS2200。

— 亚历克斯·霍尔斯特

有点笨拙的背板，但足以获得更好的性能。好奇地看到交叉电缆能为您带来性能明智的选择。

— SpacemanSpiff 2012年

4

似乎是这里的常见主题，请再次查看交换机上的流控制设置。如果交换机具有以太网计数器统计信息，请查看它们，并查看是否有大量以太网暂停帧。如果是这样，那可能是您的问题。通常，在交换机上禁用QOS可以解决此问题。

— 乔伊维蒂
source

我又看了一眼。流量控制被禁用，PAUSE计数器在所有接口上均为零。启用流控制后，PAUSE计数器的数据包计数将增加25％。我们确定了一些硬件并没有表现出同样差的性能，因此现在我们正在寻求更新nic驱动程序，并用功能更强大的nic替换某些nic。QoS已在交换机上禁用。感谢您的输入。

— 亚历克斯·霍尔斯特

很高兴为您提供帮助

— joeqwerty 2012年

3

像这样的流程向我暗示了各种TCP流量控制方法都无法正常工作。我已经看到Linux内核与Vista以后的Windows版本进行通讯时会遇到一些问题，您会得到类似的吞吐量。您一看便能在Wireshark中很好地显示它们。

绝对最糟糕的可能性是TCP延迟ack被完全破坏，您将看到类似以下的流量模式：

packet
packet
[ack]
packet
packet
[ack]

我已经通过将NIC驱动程序更新应用于Windows服务器来解决了这一问题。某些（broadcom）服务器随附的智能NIC有时会以有趣的方式发生故障，这就是其中之一。

正常的流量模式将是大量数据包，然后是Ack数据包。

要寻找的另一件事是长时间的延迟。可疑值是0.2秒和1.0秒。这表明一方没有得到期望的结果，并且正在等待超时到期才进行回复。结合上述不良数据包模式和200ms的ACK延迟，您将获得高达1MB / s的吞吐量。

这些是容易引起注意的不良流量模式。

我没有使用过这种NAS设备，所以不知道修复发现的内容有多大的可调整性。

— sysadmin1138
source

— SpacemanSpiff 2012年