MPIO我应该期望什么吞吐量?


12

带有两个1 Gbps NIC的Dell PowerEdge 2950进入一个交换机上的两个1 Gbps端口,然后转到带有四个1 Gbps NIC且作为一个虚拟接口出现的NetApp。24个驱动器,7200k SATA,NetApp RAID-DP。我已使用Microsoft iSCSI启动器中的MPIO将每个主机NIC映射到NetApp。使用SQLIO进行测试,我的写吞吐量大约在200 MB左右,但是我的读接近100 MB。

难道我的读取不应该像我的写入一样接近200 MB吗?这是配置问题还是我不​​了解的基本存储问题?

在此处输入图片说明

更新:这是针对随机工作负载的IOPS。读是有意义的,但是,我不确定写要用20000做什么。SAN缓存为3.2 GB。SQLIO测试针对25 GB的文件。

在此处输入图片说明


3
您在NetApp设备上的缓存是什么?您有SAN管理员可以为您提取一些指标吗?我们拥有一个NetApp,并且能够结合报告和警告日志来识别一些问题。最终,我们的情况是光纤卡不良,但是NetApp的支持对帮助我们根源非常有帮助。
swasheck

2
可能值得研究聚合和卷的配置,以确保正确使用磁盘(可以随意发布配置,尽管我不确定我们中有多少人是NetApp专家)。通常,写操作要比读操作快,这是因为写操作可以在推入磁盘之前先在文件管理器中进行缓存,但是除非读操作已经在缓存中,否则它们必须命中磁盘。
弥敦道(Nathan Jolly)

2
@mrdenny这个“ 64k块中的IO的99%”概念从何而来?鲍勃·多尔(Bob Dorr)则相反韦斯·布朗(Wes Brown)也是如此。即使我们忽略了这两篇综合性文章,也可以肯定地说,常识表明您将在使用8K页面大小的平台上看到8K IO。
Mark Storey-Smith

2
@mrdenny我的地雷必须打碎,我应该给支持者打电话吗?我坐在这里用进程监视器查看数据文件的IO活动,尽管预期会有64K的大量读取,但还有许多其他的8K多次读取,当然还有很多8K写入。日志活动是预期的,从单个512字节写入到60k的512字节倍数。
Mark Storey-Smith

2
@ MarkStorey-Smith以我的经验,8k读通常与碎片相关。也可能表示内存浪费,由于扫描驱逐页面导致页面寿命很短(即大多数范围仍在内存中)。调整良好的系统应显示64k次读取。当然写取决于实际脏的东西。
Remus Rusanu

Answers:


7

磁盘写入实际上将进入文件管理器上的内存(NVRAM),稍后再刷新到磁盘-在空闲文件管理器上,这些写入速度将非常快,而且20,000的IOPS令人难以置信(大多数SSD的速度都差不多) 。

另一方面,读取需要来自磁盘,除非它们恰好位于文件管理器的读取缓存中(与写入不同,该缓存位于易失性内存中)。

很难将存储供应商的磁盘固定在iops上,但是对于7200RPM驱动器来说,80-120 iops是相当可信的。考虑到您可能已经将几个磁盘丢失给了NetApp的RAID-DP和/或备用磁盘,因此2,200 iops接近您对22个磁盘执行大约100 iops的预期。

这可能无法解释您的读取速度(当您执行顺序读取时,您的磁盘可能未完成2200 iops的完整速度),但至少可以帮助您解释写入性能。


谢谢内森。我是否应该期望两个NIC和MPIO的吞吐量增加一倍?
李·亨利

1
在运行顺序读取测试时,是否可以检查文件管理器的利用率?如果达到100%,那么您的瓶颈可能就在文件管理器上(由于每个磁盘的配置或iops限制),并且MPIO /额外的MPIO连接不会添加任何内容。您的写入吞吐量可能会进一步增加。
弥敦道(Nathan Jolly)

5

为了后代,经过反复尝试,我们找出了如何获得预期的吞吐量。

如上所述,NetApp具有一个由四个物理NIC支持的虚拟接口。主机有两个NIC,我已经通过MS iSCSI Initiator配置了MPIO,因此从每个NIC到一个虚拟接口都有一条路径。结果就是上面的吞吐量-写接近200 MB或两个NIC的速度是有意义的,但是读取是一半或一个NIC的速度的一半。

经过仔细检查,我们的SAN专家注意到流量仅通过其中一个物理NIC进行读取。我不确定最后是否有配置错误,但是我们尝试了两件事,但都获得了吞吐量。一种是从由四个NIC支持的一个虚拟接口更改为两个由两个NIC支持的虚拟接口。然后将一个主机NIC映射到一个虚拟接口。我们尝试的另一件事是在SAN端使用“别名”来呈现多个虚拟接口。(我不是SAN专家,所以希望我说的没错。)

我的收获是,我们仅需要SAN即可提供多个接口,因此Initiator确实可以看到多个路径。现在是我们的吞吐量:

在此处输入图片说明


为什么较小的写入现在变慢?
杰克说尝试topanswers.xyz 2013年

不确定,我们还无法弄清楚。如果知道了,我会回发。
亨利·李
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.