有效地从ZFS删除10M +文件

我编写了一个有问题的程序，意外地在/ tmp下创建了大约3000万个文件。（该错误是在几周前引入的，它每秒创建两个子目录。）我可以将/ tmp重命名为/ tmp2，现在需要删除文件。系统是FreeBSD 10，根文件系统是zfs。

同时，镜像中的一个驱动器出现故障，我已将其更换。该驱动器有两个120GB SSD磁盘。

这里的问题是：更换硬盘驱动器并重新装入整个阵列需要不到一个小时的时间。删除文件/ tmp2是另一回事。我编写了另一个程序来删除文件，并且它每秒只能删除30-70个子目录。删除所有文件需要2-4天。

重新同步整个阵列需要一个小时，而从磁盘中删除需要4天，这怎么可能？为什么我的表现这么差？每秒70次删除似乎是非常非常差的性能。

我可以手动删除/ tmp2的inode，但这不会释放空间，对吗？

zfs或硬盘驱动器可能有问题吗？

ZFS中的删除非常昂贵。如果在文件系统上启用了重复数据删除，则更是如此（因为取消引用重复数据删除的文件非常昂贵）。快照也可能使事情复杂化。

您最好删除/tmp目录而不是其中包含的数据。

如果/tmp是ZFS文件系统，请将其删除并重新创建。

重新同步整个阵列需要一个小时，而从磁盘中删除需要4天，这怎么可能？

考虑一栋办公楼。

从所有楼层的所有办公室中移走所有计算机和家具及固定装置需要很长时间，但是这些办公室可立即由其他客户使用。

使用RDX拆除整个建筑物要快得多，但是下一个客户很可能会抱怨这个地方的通风状况。

这里发生了很多事情。

首先，所有现代磁盘技术都针对批量传输进行了优化。如果您需要移动100MB的数据，如果它们位于一个连续的块中而不是分散在整个位置，它们的处理速度将更快。SSD在这里有很大帮助，但即使它们更喜欢连续块中的数据。

其次，就磁盘操作而言，重新同步是最佳的选择。您从一个磁盘读取了大量连续的数据块，对其进行了一些快速的CPU操作，然后将其以另一个较大的连续数据块重写到另一个磁盘。如果电源在途中发生故障，没什么大不了的-您将忽略校验和不正确的任何数据，然后按常规进行操作。

第三，删除文件确实很慢。ZFS特别糟糕，但是实际上所有文件系统的删除速度都很慢。他们必须修改磁盘上的大量不同数据块并正确计时（即等待），以便在断电时不会损坏文件系统。

重新同步整个阵列需要一个小时，而从磁盘中删除需要4天，这怎么可能？

重新同步是磁盘真正快的事情，而删除则是磁盘慢的事情。每兆字节的磁盘只需要做一点重新同步即可。您可能在该空间中有一千个文件需要删除。

每秒70次删除似乎是非常非常差的性能

这取决于。我对此不会感到惊讶。您没有提到您正在使用哪种类型的SSD。现代的英特尔和三星固态硬盘在这种操作（读取-修改-写入）方面非常出色，并且性能会更好。较便宜/较旧的SSD（例如Corsair）将很慢。此处每秒的I / O操作数（IOPS）是决定因素。

ZFS 是要删除的东西特别慢。通常，它将在后台执行删除操作，因此您不会看到延迟。如果您要执行大量操作，则无法将其隐藏起来，必须延迟您的操作。

附录：为什么删除缓慢？

• 删除文件需要几个步骤。文件元数据必须标记为“已删除”，最后必须对其进行回收，以便可以重复使用空间。ZFS是一个“日志结构化的文件系统”，如果您仅创建事物而从未删除它们，则其性能最佳。日志结构意味着，如果删除某些内容，则日志中会有一个空白，因此必须重新排列（整理碎片）其他数据以填补空白。这对于用户是不可见的，但是通常很慢。
• 更改的方式必须是：如果在途中断电，则文件系统将保持一致。通常，这意味着等待磁盘确认数据确实在介质上；对于SSD，可能要花费很长时间（几百毫秒）。这样做的最终结果是，簿记工作更多（即磁盘I / O操作）。
• 所有的更改都很小。无需读取，写入和擦除整个闪存块（或磁盘的圆柱体），您需要对其进行一些修改。为此，硬件必须读取整个块或柱面，在内存中对其进行修改，然后再次将其写出到介质中。这需要很长时间。

重新同步整个阵列需要一个小时，而从磁盘中删除需要4天，这怎么可能？

这是可能的，因为这两个操作在文件系统堆栈的不同层上进行。重新同步可以进行低级别操作，实际上不需要查看单个文件，一次可以复制大量数据。

为什么我的表现这么差？每秒70次删除似乎是非常非常差的性能。

它确实需要做很多记账工作。

我可以手动删除/ tmp2的inode，但这不会释放空间，对吗？

我不了解ZFS，但是如果它可以从中自动恢复，那么最终它可能会在后台执行与您已经在做的相同的操作。

zfs或硬盘驱动器可能有问题吗？

zfs scrub什么都没说

删除大量文件从来不是真正的快速操作。

为了删除任何文件系统上的文件，您需要读取文件索引，删除（或标记为已删除）索引中的文件条目，删除与该文件关联的所有其他元数据，并将为该文件分配的空间标记为没用过。必须针对要删除的每个文件分别完成此操作，这意味着删除大量文件需要大量小型I / O。以确保在断电情况下数据完整性的方式进行此操作会增加更多开销。

即使没有ZFS引入的特性，删除3000万个文件通常也意味着超过一亿个单独的I / O操作。即使使用快速的SSD，这也将花费很长时间。正如其他人提到的，ZFS的设计进一步加剧了这个问题。

伊恩·豪森（Ian Howson）解释了为什么它运行缓慢。

如果并行删除文件，由于删除操作可能会使用相同的块，因此可能会提高速度，从而可以节省多次重写同一块的时间。

因此，请尝试：

find /tmp -print0 | parallel -j100 -0 -n100 rm

并查看其效果是否优于每秒70次删除。

如果您反转想法，这非常简单。

1. 获得第二个驱动器（您似乎已经拥有了）

2. 使用/ rmp将除/ tmp目录之外的所有内容从驱动器A复制到驱动器B。Rsync将比块复制慢。

3. 使用驱动器B作为新的引导卷重新引导

4. 重新格式化驱动器A。

这也会对驱动器进行碎片整理，并为您提供一个全新的目录（很好，碎片整理对于SSD来说并不重要，但是线性化文件不会对任何事情造成损害）

在未排序的列表中，您有3000万个条目。您在列表中扫描要删除的条目，然后将其删除。现在，您的未排序列表中只有29,999,999个条目。如果它们都在/ tmp中，为什么不重启？

编辑该信息以反映评论中的信息：问题陈述：删除/ tmp中错误创建的30M +文件中的大多数（但不是全部）要花费很长时间。
问题1）从/ tmp删除大量不需要的文件的最佳方法。
问题2）了解为什么删除文件这么慢。

解决方案1）-/ tmp在大多数* nix发行版的启动时重置为空。但是，FreeBSD并不是其中之一。
第1步-将有趣的文件复制到其他位置。
第2步-以root身份

 $ grep -i tmp /etc/rc.conf  
 clear_tmp_enable="YES" # Clear /tmp at startup.  

步骤3-重新启动。
步骤4-将clear_tmp_enable更改回“否”。
不需要的文件现在消失了，因为FreeBSD上的ZFS 具有以下功能：“销毁数据集比删除驻留在数据集上的所有文件要快得多，因为它不需要扫描所有文件并更新所有相应的元数据。 ” 因此在启动时要做的就是重置/ tmp数据集的元数据。这是非常快的。

解决方案2）为什么这么慢？ZFS是一个很棒的文件系统，其中包括诸如恒定时间目录访问之类的功能。如果您知道自己在做什么，那么效果很好，但是证据表明OP不是ZFS专家。OP并未指出他们是如何尝试删除文件的，但是，我猜测他们会使用“ find regex -exec rm {} \;”的变体。这适用于较小的数字，但无法扩展，因为正在进行三个串行操作：1）获取可用文件列表（以散列顺序返回3000万个文件），2）使用正则表达式选择要删除的下一个文件，3 ），告诉操作系统从3000万个列表中查找并删除该文件。即使如果 ZFS返回从内存和一个列表，如果 “查找”将其缓存，正则表达式仍必须从列表中识别出要处理的下一个文件，然后告诉操作系统更新其元数据以反映该更改，然后更新列表，以便不再对其进行处理。