虚拟只写文件系统，用于将文件存储在归档中

我有一个令人尴尬的并行过程，该过程会创建大量几乎（但不是完全）相同的文件。有没有一种方法可以“即时”归档文件，以使数据不会消耗比所需更多的空间？

该进程本身接受命令行参数，并将创建的每个文件的名称打印到stdout。我正在调用它，parallel --gnu它负责分配输入（来自另一个进程）并收集输出：

arg_generating_process | parallel --gnu my_process | magic_otf_compressor

管道第一部分的简单示例bash：

for ((f = 0; $f < 100000; f++)); do touch $f; echo $f; done

怎么能magic_otf_compressor是什么样子？应该将每个输入行都视为文件名，然后将每个文件复制到压缩.tar存档中（已处理所有文件的存档！），然后将其删除。（实际上，打印每个已处理文件的名称就足够了，另一个| parallel --gnu rm可以负责删除文件。）

有没有这样的工具？我不考虑单独压缩每个文件，这会浪费太多空间。我调查了archivemount（将文件系统保留在内存中->不可能，我的文件太大和太多）和avfs（无法使其与FUSE一起使用）。我错过了什么？

我距离自己入侵这样的工具仅一步之遥，但必须有人做过……

编辑：从本质上讲，我认为我正在寻找一个stdin前端libtar（而不是从命令行tar读取参数的命令行前端）。

似乎tar想预先知道所有文件名。因此，它不那么动态，而更多。cpio似乎没有这个问题：

| cpio -vo 2>&1 > >(gzip > /tmp/arc.cpio.gz) | parallel rm

RTFM的经典案例（全部！）。-TGNU 的选项tar将从另一个文件中读取要归档的文件（在我的情况下/dev/stdin，您也可以使用-），甚至还有一个--remove-files选项：

alias magic_otf_compressor='tar --create -T - --remove-files -O | pixz'

（使用并行版本的xz进行压缩，但您可以改用首选的压缩器）。用作：

arg_generating_process |
  parallel --gnu my_process |
  magic_otf_compressor > file.tar.xz

编辑：正如Ole所指出的，出于某种原因，tar似乎使用该-T选项读取了整个文件列表。以下测试证实了这一点：

for ((f = 0; $f < 1000; f++)); do
    touch $f; echo $f;
done | tar -c -f otf.tar -T - -v

在一次打印所有文件之前，我的系统延迟了一秒钟；相反，如果将tar命令替换为cat，则在创建文件时将打印所有文件。让我们来看看，我已经向tar人提出了支持请求。

EDIT ^ 2：最新tar的源代码可以解决此问题。它尚未在Ubuntu 13.10中提供，但可能包含在14.04中。

对于固态压缩器（基于磁带的存档器+压缩），这似乎不怎么好。一个接一个地插入文件看起来像是一项工作zip或某种其他格式，它允许在存档中进行随机文件访问并进行增量插入。

文件相似的事实在两种情况下都无济于事。在中zip，文件是单独压缩的，而在固态压缩器中，通常会在其中进行压缩的窗口中。

如果文件是基于文本的，则可以存储与单个参考文件相比的差异。对于二进制文件，这比较棘手，但是可以完成。

还有一种正式的方式（不是只写，而是适当的文件系统）。例如，ZFS和BTRFS文件系统提供透明的压缩。您也可以使用此http://developer.berlios.de/projects/fusecompress

它可能看起来并不明显，但是我敢打赌，squashfs这很完美-它甚至在内核中实现。由于版本4.1 squashfs可以按命令行或通过shell脚本处理伪文件mksquash，因此mksquashfs将在创建存档时生成这些文件。

它可以处理管道 -例如，您可以将另一个进程捕获stdout到一个可安装的squash存档中-甚至是fifos-这非常酷。在你的情况，如果你能找出它通过管道的过程中产出的脚本物流，你可以完全包住你的进程中mksquashfs，并用一个单一的存档拉闸。这里有一些readme工作原理，还有更多内容：

Mksquashfs 4.1添加了对“动态伪文件”的支持和修改操作。动态伪文件允许在运行Mksquashfs时动态创建文件，其内容是运行命令或Shell脚本的结果。修改操作允许修改源文件系统中现有文件的模式/ uid / gid。

创建动态文件示例

创建一个文件“ dmesg”，其中包含dmesg的输出。

    dmesg f 444 root root dmesg

创建一个文件RELEASE，其中包含发行版名称，日期，构建主机和递增的版本号。递增版本是执行Shell脚本的副作用，并确保每次运行Mksquashfs时都使用新版本号，而无需任何其他Shell脚本。

    RELEASE f 444 root root \
        if [ ! -e /tmp/ver ]; then \
        echo 0 > /tmp/ver; \
        fi; \
        ver=`cat /tmp/ver`; \
            ver=$((ver +1)); \
            echo $ver > /tmp/ver; \
            echo -n "release x.x"; \
            echo "-dev #"$ver `date` "Build host" `hostname`

从设备/ dev / sda1复制10K到文件输入中。通常，给定设备，fifo或命名套接字的Mksquashfs会将特殊文件放置在Squashfs文件系统中，这允许捕获来自这些特殊文件的输入并将其放置在Squashfs文件系统中。

        input f 444 root root dd if=/dev/sda1 bs=1024 count=10