iSCSI和NFS在1GB以太网上的“良好”速度是多少?


9

我有一个OpenSolaris框,共享两个ZFS文件系统。一种是与运行VMware服务器的CentOS盒的NFS连接(磁盘映像存储在ZFS中)。另一个是在ZFS上以NTFS格式与Windows 2008服务器建立iSCSI连接。两种连接都是通过gig-E直接连接(无开关)。

我正在运行munin来监视盒子,但是我不确定应该期望什么样的数字。有人可以给我一些基准数字以进行比较还是对从何处开始调整提出任何建议?

这是我所看到的NFS统计信息,一旦我在solaris盒上修复了munin后,我将发布iSCSI:P

接口

nfs客户端


您正在寻找什么单位?KBPS?IO /秒?
WerkkreW

我什至不知道从哪里开始寻找。我已经用munin的统计信息更新了帖子。让我知道是否有更好的地方可以看。
Sysadminicus,2009年

Answers:


12

我们已将通过绑定的GigE和iSCSI写入的Sun X4100的速度提高到280MB / s的Sun X4500。

在我的股票调优配置中,可以做很多事情来调优Solaris上的TCP堆栈以帮助解决问题。(摘自一些Sun白皮书):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

另外,值得在您的OpenSolaris计算机上研究的是更改fsflush间隔,中断调整“魔术”和禁用软环。将以下内容附加到/ etc / system(需要重新启动):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

值得一提的是,我在Solaris 10而非OpenSolaris上执行此操作,但我认为可调参数应该对您同样有效。

我是Filebench的忠实拥护者,他喜欢使用各种调整选项并进行吞吐量测试。

在iSCSI和ZFS领域中,(最近重命名的)OpenSolaris 2009.06发行版看起来非常令人兴奋。

希望这对您有所帮助!



1

对于仅一个dd或bonnie ++(原始速度,线性书写),您应该非常接近线速。

但是,一旦开始获得多个VM的随机IO负载,瓶颈就将是磁盘阵列,这远远超过了传输。

另外,如果您没有电池后备的写入缓存和大量的RAM,那么在任何其他IO继续进行大量写入操作后,性能就会立即下降。


0

我已经能够将iSCSI上的数据通过1GB链接推送到大约200 Mbit / sec。但是我有一个由EMC CX4-240托管的14磁盘RAID 6,当时没有太多使用缓存。

最大的瓶颈可能是控制器缓存的数量和磁盘的速度(对于缓存何时已满)。


1
在计划阶段,我们将所有12个磁盘都放在同一控制器上失败了。我想,将这些拆分给另一个控制器对我们来说是一个轻松的速度胜利。
Sysadminicus 2009年

这可能取决于瓶颈所在。我们的RAID 6是单个控制器,因为它们都在一个机架中。但这是在相当高端的硬件中。瓶颈在哪里?您可能只需要在控制器中放置更多缓存和/或将更高百分比的缓存分配为写缓存。
mrdenny

我有一个类似的设置(尽管使用AX4-5)。我不使用iSCSI,但是在SAN上的两台计算机之间使用未加密的协议进行了非常快速的传输。我希望我知道一个好的SAN优化文档。
马特·西蒙斯

0

我通过1G以太网上的ISCSI到达Windows服务器的速度约为80 MB / S。目标:KernSafe iStorage服务器http://www.kernsafe.com/Product.aspx?id=5 发起方:Microsoft发起方www.microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6-4585-b385-befd1319f825&displaylang=恩

Hardisk:ATA 7200


0

对于那些更接近半专业(而不是专业)的人们,我从W2012服务器获得了恒定且一致的150MB读取120MB写入通过draytek托管的双1gb nic通过draytek托管交换机通过RJ45铜线连接到blackarmorsnas,单次传输20GB文件。测试期间无其他同时操作。为了达到这个目的,我正在使用9k巨型帧,rx&tx流,即所有常规驱动程序优化,但是除了打开东西并将巨型帧提升到最大以外没有其他调整。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.