什么是用于存储大量小文件（HDD，而不是SSD）的最高性能Linux文件系统？

我有一个包含许多小文件和少量大文件的目录树。文件的平均大小约为1 KB。树中有210158个文件和目录（此数字是通过运行获得的find | wc -l）。

每周有几次添加/删除/重写一小部分文件。这适用于小文件，以及（少量）大文件。

我尝试过的文件系统（ext4，btrfs）在磁盘上放置文件时遇到一些问题。在更长的时间范围内，磁盘（旋转媒体，而非固态磁盘）上文件的物理位置正变得更加随机分布。这种随机分布的负面结果是文件系统变慢（例如：比新文件系统慢4倍）。

是否有一个Linux文件系统（或文件系统维护方法）没有遭受这种性能下降的困扰，并且能够在旋转媒体上保持稳定的性能状况？该文件系统可以在Fuse上运行，但是必须可靠。

性能

我写了一个小型基准测试（源代码），以找出哪种文件系统在处理数十万个小型文件时表现最佳：

• 使用/ dev / urandom中的数据创建300000个文件（512B至1536B）
• 重写30000个随机文件并更改大小
• 读取30000个连续文件
• 读取30000个随机文件

• 删除所有文件

• 每一步后同步和删除缓存

结果（以秒为单位的平均时间，越低越好）：

Using Linux Kernel version 3.1.7
Btrfs:
    create:    53 s
    rewrite:    6 s
    read sq:    4 s
    read rn:  312 s
    delete:   373 s

ext4:
    create:    46 s
    rewrite:   18 s
    read sq:   29 s
    read rn:  272 s
    delete:    12 s

ReiserFS:
    create:    62 s
    rewrite:  321 s
    read sq:    6 s
    read rn:  246 s
    delete:    41 s

XFS:
    create:    68 s
    rewrite:  430 s
    read sq:   37 s
    read rn:  367 s
    delete:    36 s

结果：
尽管Ext4的整体性能不错，但是ReiserFS在读取顺序文件方面非常快。事实证明，XFS包含许多小文件的速度很慢-在此用例中不应使用它。

碎片问题

防止文件系统在驱动器上分发文件的唯一方法是，使分区仅保持您真正需要的大小，但要注意不要将分区设置得太小，以防止文件内碎片。使用LVM可能会很有帮助。

进一步阅读

Arch Wiki上有很多有关文件系统性能的文章：

https://wiki.archlinux.org/index.php/Beginner%27s_Guide#Filesystem_types

https://wiki.archlinux.org/index.php/Maximizing_Performance#Storage_devices

我正在使用ReiserFS来完成此任务，它特别适合处理许多小文件。在funtoo Wiki上有一个易于阅读的文本。

ReiserFS还具有许多专门用于提高小文件性能的功能。与ext2不同，ReiserFS不会在固定的1 k或4 k块中分配存储空间。相反，它可以分配所需的确切大小。

目录中的1-2百万个文件后，ext4的性能下降。参见本页，由UCSC的Hiram Clawson创建http://genomewiki.ucsc.edu/index.php/File_system_performance

XFS在这种情况下表现出色。这就是为什么我们在邮件存储中使用它的原因（它可以在一个目录中包含成千上万个文件）。与ReiserFS相比，它具有更好的容错能力，使用范围更广，并且通常是非常成熟的文件系统。

此外，XFS支持联机碎片整理。尽管它确实使用了延迟分配技术，但这种技术从一开始就减少了碎片（相对于其他文件系统）。