调整Linux磁盘缓存行为以实现最大吞吐量

我在这里遇到了最大吞吐量问题，并且需要一些有关调整旋钮的建议。我们正在运行10Gbit文件服务器进行备份分发。这是LSI MegaRAID控制器上的两个磁盘S-ATA2设置。服务器还获得了24gig的内存。

我们需要以最大的吞吐量来镜像我们上次上传的备份。

我们的“热”备份的RAID0给我们大约260 MB /秒的写入速度和275 MB /秒的读取速度。经过测试的大小为20GB的tmpfs大约为1GB /秒。我们需要这种吞吐量。

现在，我如何调整Linux的虚拟内存子系统，以将最近上传的文件尽可能长时间地缓存在内存中，而不将它们写到磁盘上（甚至更好：写入磁盘并将它们保存在内存中）？

我设置了以下系统，但它们没有给我们期望的吞吐量：

# VM pressure fixes
vm.swappiness = 20
vm.dirty_ratio = 70
vm.dirty_background_ratio = 30
vm.dirty_writeback_centisecs = 60000

从理论上讲，这应该为我们提供16GB的缓存I / O，并等待几分钟，直到将其写入磁盘。仍然当我对服务器进行基准测试时，我看不到对写入的影响，吞吐量并没有增加。

需要帮助或建议。

通过查看已设置的变量，您似乎最在意写入性能，而不在乎电源中断可能造成的数据丢失。

您将永远只能选择延迟写入以及通过异步写入操作使用回写缓存。同步写入操作需要提交到磁盘，并且永远不会被延迟写入。您的文件系统可能会导致频繁的页面刷新和同步写入（通常是由于日志记录，尤其是在data = journal模式下使用ext3）。此外，即使“后台”页面刷新也将干扰未缓存的读取和同步写入，从而减慢它们的速度。

通常，您应该采取一些指标来查看正在发生的事情-您是否看到复制过程处于“ D”状态，以等待pdflush完成I / O工作？您是否在磁盘上看到大量同步写入活动？

如果所有其他方法均失败，则您可以选择设置一个显式的tmpfs文件系统，在该系统中将备份复制到该文件系统上，并在事实发生后仅与磁盘同步数据-甚至自动使用inotify

对于读取缓存来说，事情要简单得多-fcoretools fadvise实用程序具有--willneed用于建议内核将文件内容加载到缓冲区缓存中的参数。

编辑：

vm.dirty_ratio = 70

从理论上讲，这应该为我们提供16GB的缓存I / O，并等待几分钟，直到将其写入磁盘。

这不会极大地影响您的测试方案，但是您的理解存在误解。dirty_ratio参数不是系统总内存的百分比，而是系统可用内存的百分比。

有一篇关于调整重载负载的文章，其中包含更深入的信息。

或者只是获得更多磁盘...您拥有的驱动器阵列配置不支持您所需要的全部。在这种情况下，应重新设计解决方案以满足您的实际需求。我了解这仅是备份，但避免出现混乱修复是有意义的。

使用内存缓存可能意味着数据丢失，就像出了点问题，内存中未保存到磁盘的数据将丢失。

也就是说，需要在文件系统级别进行调整。

例如，如果您使用的是ext4，则可以尝试使用mount选项：

障碍= 0

那是：“禁止在jbd代码中使用写屏障。写屏障强制在磁盘上对日志提交进行正确的排序，使易失性磁盘写缓存可以安全使用，但会降低性能。如果您的磁盘以某种方式靠电池供电否则，禁用障碍可以安全地提高性能。安装选项“ barrier”和“ nobarrier”也可以用于启用或禁用障碍，以与其他ext4安装选项保持一致。”

更多信息，请访问：http : //www.mjmwired.net/kernel/Documentation/filesystems/ext4.txt