连接文件的最快方法

我有10k +个文件，总计超过20GB，我需要将它们串联成一个文件。

有没有比这更快的方法

cat input_file* >> out

？

首选方式是bash命令，即使不是相当慢，Python也是可以接受的。

不，猫无疑是最好的方式。如果已经有一个用C语言编写的程序，为什么要使用python？但是，如果xargs命令行长度超过ARG_MAX并且需要多个，您可能要考虑使用cat。使用GNU工具，这等效于您已经拥有的工具：

find . -maxdepth 1 -type f -name 'input_file*' -print0 |
  sort -z |
  xargs -0 cat -- >>out

首先为输出文件分配空间可以提高整体速度，因为系统不必为每次写入更新分配。

例如，如果在Linux上：

size=$({ find . -maxdepth 1 -type f -name 'input_file*' -printf '%s+'; echo 0;} | bc)
fallocate -l "$size" out &&
  find . -maxdepth 1 -type f -name 'input_file*' -print0 |
  sort -z | xargs -r0 cat 1<> out

另一个好处是，如果没有足够的可用空间，则不会尝试复制。

如果选中btrfs，则可以copy --reflink=always第一个文件（这意味着没有数据复制，因此几乎是瞬时的），然后追加其余文件。如果有10000个文件，那么除非第一个文件很大，否则可能不会有太大区别。

有一个API可以概括性地引用所有文件（BTRFS_IOC_CLONE_RANGE ioctl），但是我找不到暴露该API的任何实用程序，因此您必须使用C python语言（或其他语言，只要它们可以调用任意ioctls即可） 。

如果源文件稀疏或NUL字符序列较大，则可以使用（在GNU系统上）制作稀疏输出文件（节省时间和磁盘空间）：

find . -maxdepth 1 -type f -name 'input_file*' -print0 |
  sort -z | xargs -r0 cat | cp --sparse=always /dev/stdin out