在Linux突袭5上mkfs操作花费很长时间

我已经设置了一个Linux软件突袭级别5，该级别由4 * 2 TB磁盘组成。创建的磁盘阵列的条带大小为64k，没有其他配置参数。初始重建后，我尝试创建一个文件系统，此步骤耗时很长（大约半小时或更长时间）。我尝试创建一个xfs和ext3文件系统，两者都花了很长时间，使用mkfs.ext3我观察到以下行为，这可能会有所帮助：

编写索引节点表的速度很快，直到达到1053（〜1秒），然后写入大约50，等待两秒钟，然后再写入下50（根据控制台显示）
当我尝试用Control + C取消操作时，它挂了半分钟才真正取消

单个磁盘的性能非常好，我已经分别在每个磁盘上运行bonnie ++，其读/写值约为95 / 110MB / s。即使当我在每个驱动器上并行运行bonnie ++时，其值也仅减少了约10 MB。因此，一般来说，我不将硬件/ I / O调度作为问题源。

我为stripe_cache_size和预读大小尝试了不同的配置参数，但没有成功，但是我认为它们与文件系统创建操作无关。

服务器详细信息：

Linux服务器2.6.35-27-通用＃48-Ubuntu SMP x86_64 GNU / Linux
mdadm-v2.6.7.1

有没有人对如何进一步调试提出建议？

— 埃尔玛·韦伯
source

Answers:

我同意，这可能与条纹对齐有关。根据我的经验，在3 * 2TB RAID-0上创建未对齐的XFS大约需要5分钟，但是如果按照条带大小对齐，则需要10-15秒。这是用于将XFS调整为256KB条带大小的命令：

mkfs.xfs -l internal,lazy-count=1,sunit=512 -d agsize=64g,sunit=512,swidth=1536 -b size=4096 /dev/vg10/lv00

顺便说一句，在我的情况下，条带宽度为3个单位，这对于具有4个驱动器的您来说是相同的，但在raid-5中。

显然，这也可以提高FS性能，因此最好保持一致。

— 杜贝利斯
source

嗨，这没有什么区别，我尝试过：time mkfs.xfs -l sunit=128 -d agsize=64g,sunit=128,swidth=512 -b size=4096 /dev/md0 -f这与不带任何参数的mkfs大致相同

— Elmar Weber

我正在运行bonnie ++，因此请查看它在操作过程中是否对性能产生任何影响。顺便说一句：agsize参数有什么原因吗？我阅读了手册页，但无法推断将其设置为值的好处。

— Elmar Weber

（顺便说一句：上面的命令是错误的，正确的宽度是384）

— Elmar Weber

我没有在mkfs上获得任何性能提升，但是使用bonnie ++衡量的总体性能要好得多：文件创建/删除操作比以前提高了约4倍，顺序写入速度提高了约15％。非常感谢。

— Elmar Weber

此处并不需要agsize-mkfs会自动进行计算（将卷的大小除以逻辑CPU的数量）。它是我自己的设置遗留下来的-我创建此卷时对将来的配置更改有所期望。

— dtoubelis 2011年

我怀疑您正在遇到典型的RAID5小写问题。对于小于条带大小的写操作，它必须对数据和奇偶校验执行读-修改-写操作。如果写入的大小与条带大小相同，则它可以简单地覆盖奇偶校验，因为它知道该值是什么，而不必重新计算它。

— Malcolmpdx
source

有意义吗，我能正确看到吗？：根据mkfs.ext3输出，它每秒写入约25个inode表，我假设它们在初始创建期间小于64k，因此写入了64k条带。这将意味着对每个磁盘进行16k写操作，因此每秒25次随机16k写操作，扇区大小为4kb，这意味着每秒100次随机I / O操作，这与bonnie ++所显示的差不多。

— Elmar Weber

匹配bonnie ++在实际RAID中的结果，读取335 MB和写入310 MB，但是文件创建和删除仅是单个磁盘性能的1/4。

— Elmar Weber

如果在创建文件系统时指定步幅和条带宽度，则mkfs和后续文件系统的性能可能会提高。如果使用默认的4k块，则跨度为16（RAID条带为64k除以文件系统块为4k），条带宽度为48（文件系统跨度为16乘以阵列中的3个数据磁盘）。

mkfs.ext3 -E stride=16 stripe-width=48 /dev/your_raid_device

— 松鼠
source