在Linux突袭5上mkfs操作花费很长时间


9

我已经设置了一个Linux软件突袭级别5,该级别由4 * 2 TB磁盘组成。创建的磁盘阵列的条带大小为64k,没有其他配置参数。初始重建后,我尝试创建一个文件系统,此步骤耗时很长(大约半小时或更长时间)。我尝试创建一个xfs和ext3文件系统,两者都花了很长时间,使用mkfs.ext3我观察到以下行为,这可能会有所帮助:

  • 编写索引节点表的速度很快,直到达到1053(〜1秒),然后写入大约50,等待两秒钟,然后再写入下50(根据控制台显示)
  • 当我尝试用Control + C取消操作时,它挂了半分钟才真正取消

单个磁盘的性能非常好,我已经分别在每个磁盘上运行bonnie ++,其读/写值约为95 / 110MB / s。即使当我在每个驱动器上并行运行bonnie ++时,其值也仅减少了约10 MB。因此,一般来说,我不将硬件/ I / O调度作为问题源。

我为stripe_cache_size和预读大小尝试了不同的配置参数,但没有成功,但是我认为它们与文件系统创建操作无关。

服务器详细信息:

  • Linux服务器2.6.35-27-通用#48-Ubuntu SMP x86_64 GNU / Linux
  • mdadm-v2.6.7.1

有没有人对如何进一步调试提出建议?

Answers:


4

我同意,这可能与条纹对齐有关。根据我的经验,在3 * 2TB RAID-0上创建未对齐的XFS大约需要5分钟,但是如果按照条带大小对齐,则需要10-15秒。这是用于将XFS调整为256KB条带大小的命令:

mkfs.xfs -l internal,lazy-count=1,sunit=512 -d agsize=64g,sunit=512,swidth=1536 -b size=4096 /dev/vg10/lv00

顺便说一句,在我的情况下,条带宽度为3个单位,这对于具有4个驱动器的您来说是相同的,但在raid-5中。

显然,这也可以提高FS性能,因此最好保持一致。


嗨,这没有什么区别,我尝试过:time mkfs.xfs -l sunit=128 -d agsize=64g,sunit=128,swidth=512 -b size=4096 /dev/md0 -f这与不带任何参数的mkfs大致相同
Elmar Weber

我正在运行bonnie ++,因此请查看它在操作过程中是否对性能产生任何影响。顺便说一句:agsize参数有什么原因吗?我阅读了手册页,但无法推断将其设置为值的好处。
Elmar Weber

(顺便说一句:上面的命令是错误的,正确的宽度是384)
Elmar Weber

我没有在mkfs上获得任何性能提升,但是使用bonnie ++衡量的总体性能要好得多:文件创建/删除操作比以前提高了约4倍,顺序写入速度提高了约15%。非常感谢。
Elmar Weber

2
此处并不需要agsize-mkfs会自动进行计算(将卷的大小除以逻辑CPU的数量)。它是我自己的设置遗留下来的-我创建此卷时对将来的配置更改有所期望。
dtoubelis 2011年

6

我怀疑您正在遇到典型的RAID5小写问题。对于小于条带大小的写操作,它必须对数据和奇偶校验执行读-修改-写操作。如果写入的大小与条带大小相同,则它可以简单地覆盖奇偶校验,因为它知道该值是什么,而不必重新计算它。


有意义吗,我能正确看到吗?:根据mkfs.ext3输出,它每秒写入约25个inode表,我假设它们在初始创建期间小于64k,因此写入了64k条带。这将意味着对每个磁盘进行16k写操作,因此每秒25次随机16k写操作,扇区大小为4kb,这意味着每秒100次随机I / O操作,这与bonnie ++所显示的差不多。
Elmar Weber

匹配bonnie ++在实际RAID中的结果,读取335 MB和写入310 MB,但是文件创建和删除仅是单个磁盘性能的1/4。
Elmar Weber

3

如果在创建文件系统时指定步幅和条带宽度,则mkfs和后续文件系统的性能可能会提高。如果使用默认的4k块,则跨度为16(RAID条带为64k除以文件系统块为4k),条带宽度为48(文件系统跨度为16乘以阵列中的3个数据磁盘)。

mkfs.ext3 -E stride=16 stripe-width=48 /dev/your_raid_device
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.