具有xfs,20个磁盘和Ceph的“大型”服务器上页面碎片的原因
任何有Linux IO系统经验的人的任何见解都会有所帮助。这是我的故事: 最近建立了一个由六个Dell PowerEdge rx720xds组成的集群,用于通过Ceph提供文件。这些机器在两个插槽上具有24个内核,并具有两个numa区域和70奇吉字节的内存。磁盘格式化为每个磁盘的RAID(否则,我们看不到直接公开磁盘的方法)。网络由IB上的mellanox infiniband IP提供(IP数据包在内核区域(而非硬件)转换为IB)。 我们将每个SAS驱动器安装如下: # cat /proc/mounts | grep osd /dev/sdm1 /var/lib/ceph/osd/ceph-90 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdj1 /var/lib/ceph/osd/ceph-87 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdu1 /var/lib/ceph/osd/ceph-99 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdd1 /var/lib/ceph/osd/ceph-82 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdk1 /var/lib/ceph/osd/ceph-88 xfs rw,noatime,attr2,inode64,noquota 0 0 /dev/sdl1 /var/lib/ceph/osd/ceph-89 xfs rw,noatime,attr2,inode64,noquota 0 0 …