CEPH的原始空间使用量

我无法理解ceph原始空间的使用情况。

我在7台服务器上有14个HDD（14个OSD），每个HDD 3TB〜总共42TB原始空间。

ceph -s 
     osdmap e4055: 14 osds: 14 up, 14 in
      pgmap v8073416: 1920 pgs, 6 pools, 16777 GB data, 4196 kobjects
            33702 GB used, 5371 GB / 39074 GB avail

我创建了4个块设备，每个块设备5 TB：

df -h
 /dev/rbd1       5.0T  2.7T  2.4T  54% /mnt/part1
/dev/rbd2       5.0T  2.7T  2.4T  53% /mnt/part2
/dev/rbd3       5.0T  2.6T  2.5T  52% /mnt/part3
/dev/rbd4       5.0T  2.9T  2.2T  57% /mnt/part4

df显示总共使用了10.9 TB，ceph显示使用了33702 GB。如果我有2份副本，则必须为〜22 TB，但是现在我有33.7 TB已使用-错过了11 TB。

ceph osd pool get archyvas size
size: 2


ceph df
GLOBAL:
    SIZE       AVAIL     RAW USED     %RAW USED
    39074G     5326G       33747G         86.37
POOLS:
    NAME          ID     USED      %USED     MAX AVAIL     OBJECTS
    data          0          0         0         1840G           0
    metadata      1          0         0         1840G           0
    archyvas      3      4158G     10.64         1840G     1065104
    archyvas2     4      4205G     10.76         1840G     1077119
    archyvas3     5      3931G     10.06         1840G     1006920
    archyvas4     6      4483G     11.47         1840G     1148291

块设备和OSD FS-XFS

GB与GiB / TB与TiB（以10为基数/以2为基数）可能是造成混淆的一种原因，但这不能解释所有差异。

Ceph / RBD将尝试“懒惰”地为您的卷分配空间。这就是为什么尽管您创建了四个5TB的卷，但是报告了16TB的已用磁盘，而不是20 TB。但是16TB超出了RBD支持的文件系统的“活动”内容的总和，正如您所说的那样，仅11TB左右。需要注意的几件事：

当您删除支持RBD的文件系统中的文件时，文件系统会在内部将这些块标记为空闲，但通常不会尝试将它们“返回”到基础块设备（RBD）。如果您的内核RBD版本足够新（3.18或更高），则应该可以使用fstrim将释放的块返回给RBD。我怀疑您已经在这些文件系统上创建并删除了其他文件，对吗？

除了表示的净数据使用量之外，还有一些文件系统开销df。除了“超级块”和其他文件系统内部数据结构外，RBD分配数据的粒度还会带来一些开销。我认为RBD将始终分配4MB的块，即使仅使用其中的一部分。

我不是ceph专家，但让我猜测一下。

没有discard选项就无法安装块设备。因此，您写入和删除的任何数据都不会显示在文件系统（/mnt/part1）上，但是由于它曾经被写入且未被修剪，因此仍保留在基础文件系统上。

如果您寻找USED自己的池并将它们加在一起，则将获得16777GB，等于ceph -s显示的容量。如果将其乘以两个（两个副本），将获得33554GB，这几乎是所使用的空间。