Linux：读取一个文件需要多少个磁盘I / O？如何将其最小化？[重复]

根据Facebook的Haystack上的这篇论文：

“ 由于NAS设备管理目录元数据的方式，在目录中放置数千个文件效率极低，因为目录的框图太大，无法被设备有效地缓存。因此，通常需要进行10多个磁盘操作来检索目录文件。在将目录大小减少到每个目录数百个图像之后，生成的系统通常仍然需要进行3个磁盘操作来获取图像：一个将目录元数据读取到内存中，第二个将inode加载到内存中，第三个读取文件内容。 ”

我以为文件系统目录元数据和索引节点将始终由操作系统缓存在RAM中，并且读取文件通常仅需要1个磁盘IO。

那是NAS设备独有的“多磁盘IO读取单个文件”问题，还是Linux也有同样的问题？

我打算运行Linux服务器来提供图像。以任何方式可以减少磁盘IO的数量-理想情况下，确保操作系统将所有目录和inode数据缓存在RAM中，并且读取每个文件只需要不超过1个磁盘IO？

Linux也有同样的“问题”。这是我的一个学生两年前发表的一篇论文，在Linux上显示了这种效果。多个IO可以来自多个来源：

• 在文件路径的每个目录级别上进行目录查找。可能有必要读取目录inode和一个或多个目录入口块
• 文件的索引节点

在普通的IO模式中，缓存确实有效，并且以减少查找的方式分配了索引节点，目录和数据块。但是，实际上由所有文件系统共享的常规查找方法对高度随机化的通信不利。

这里有一些想法：

1）文件系统相关的缓存帮助。大的缓存将吸收大多数读取。但是，如果要在计算机中放置多个磁盘，则磁盘与RAM的比率将限制缓存的数量。

2）不要使用数百万个小文件。将它们聚合到更大的文件，并将文件名和偏移量存储在文件中。

3）将元数据放置或缓存在SSD上。

4）当然，请使用没有完全无政府状态的磁盘目录格式的文件系统。readdir所花费的时间不应超过线性时间，理想情况下，直接访问文件仅是对数时间。

保持目录较小（少于1000个左右）不会有太大帮助，因为您需要将更多目录缓存到其中。

这取决于您计划使用的文件系统。在读取文件数据系统之前：

• 读取目录文件。
• 读取文件的索引节点
• 读取文件的扇区

如果文件夹包含大量文件，则这是缓存的很大保证。

您可能无法将所有目录和inode数据保留在RAM中，因为您可能拥有比RAM更多的目录和inode数据。您可能也不想这样做，因为RAM可能会更好地用于其他目的。在您的图像示例中，您是否不希望将不经常访问的图像的数据缓存在RAM中而不是不经常访问的图像的目录条目中呢？

就是说，我认为vfs_cache_pressure旋钮用于控制它。“当vfs_cache_pressure = 0时，内核将永远不会由于内存压力而回收内存和索引节点，这很容易导致内存不足的情况。”