如何在计算机之间同步巨大的稀疏文件（VM磁盘映像）？

是否存在诸如rsync之类的命令，该命令可以将巨大的稀疏文件从一台linux服务器同步到另一台linux服务器？

目标文件保持稀疏非常重要。它可能比包含它的驱动器更长（但不更大）。仅更改的块应通过电线发送。

我已经尝试过rsync，但是没有任何乐趣。https://groups.google.com/forum/#!topic/mailing.unix.rsync/lPOScZgFE9M

如果我编写一个程序来做到这一点，那我只是在重新发明轮子吗？ http://www.finalcog.com/synchronise-block-devices

谢谢，

克里斯。

rsync --ignore-existing --sparse ...

以稀疏模式创建新文件

其次是

rsync --inplace ...

要就地更新所有现有文件（包括以前创建的稀疏文件）。

Rsync仅将更改传输到每个文件，并且使用--inplace应该仅重写已更改的块，而无需重新创建文件。从他们的功能页面。

rsync是Unix系统的文件传输程序。rsync使用“ rsync算法”，它提供了一种非常快速的方法来使远程文件同步。它通过仅通过链接发送文件中的差异来做到这一点，而无需事先在链接的一端出现两组文件。

使用--inplace应该适合您。这将向您显示进度，压缩传输（以默认压缩级别），递归传输本地存储目录的内容（第一个斜杠很重要），对文件进行更改并使用ssh进行传输。

rsync -v -z -r --inplace --progress -e ssh /path/to/local/storage/ \
user@remote.machine:/path/to/remote/storage/ 

我也经常使用-a标志，这还会做更多事情。等效于-rlptgoD，我将保留确切的行为供您在手册页中查找。

我最终写了软件来做到这一点：

http://www.virtsync.com

这是商用软件，每台物理服务器的价格为49美元。

现在，我可以在3分钟内在住宅宽带中复制50GB的稀疏文件（具有3GB的内容）。

chris@server:~$ time virtsync -v /var/lib/libvirt/images/vsws.img backup.barricane.com:/home/chris/
syncing /var/lib/libvirt/images/vsws.img to backup.barricane.com:/home/chris/vsws.img (dot = 1 GiB)
[........>.........................................]
done - 53687091200 bytes compared, 4096 bytes transferred.

real    2m47.201s
user    0m48.821s
sys     0m43.915s 

看一下Zumastor Linux存储项目，它通过该ddsnap工具使用二进制“ rsync”实现了“快照”备份。

从手册页：

ddsnap提供了块级快照功能，可以高效地保存多个同时快照，从而提供了块设备复制。ddsnap可以生成两个快照之间不同的快照块列表，然后通过网络发送该差异。在下游服务器上，将更新的数据写入快照的块设备。

lvmsync会这样做。

这是用法记录。它在源上创建LVM快照，并传输逻辑分区。自创建快照以来，您可以随意传输更改的增量更新。

复制整个文件系统是否可以解决？DRBD？http://www.drbd.org/

在这里可能有点奇怪，但是最近我发现NFS可以处理这个问题。

因此，您将目录导出到一台计算机上，然后将其安装在另一台计算机上，然后使用诸如的基本utils复制文件cp。（一些旧的/古老的实用程序可能会遇到稀疏文件的问题。）

我发现rsync传输稀疏文件的效率特别低。

要同步大文件或具有低到中等差异的块设备，您可以执行普通复制或使用bdsync，rsync绝对不适合这种特殊情况*。

bdsync为我工作，看起来已经足够成熟，它的错误历史令人鼓舞（小问题，迅速解决）。在我的测试中，它的速度接近您可以达到的理论最大值**（也就是说，您可以在大约需要读取文件的时间进行同步）。最后，它是开源的，不花任何钱。

bdsync从两个主机读取文件并交换校验和以比较它们并检测差异。所有这些都在同一时间。最后，它将在源主机上创建一个压缩的补丁文件。然后，您将该文件移至目标主机，然后再次运行bdsync修补目标文件。

当通过相当快的链接（例如100Mbit以太网）使用它时，并且对于差异很小的文件（在VM磁盘上最常见的情况），它可以将同步时间减少到读取文件所需的时间。通过慢速链接，您需要花费更多时间，因为您必须将压缩的更改从一台主机复制到另一台主机（看来您可以使用一个不错的技巧来节省时间，但尚未进行测试）。

*：rsync处理大型文件的效率非常低。即使使用--inplace，它也将首先读取目标主机上的整个文件，而AFTERWARDS将开始读取源主机上的文件，最后传输差异（只需在运行rsync并观察时运行dstat或类似命令）。结果是，即使对于差异很小的文件，也需要大约两倍的时间才能读取文件以使其同步。

**：假设您没有其他方法可以判断文件的哪些部分已更改。LVM快照使用位图来记录更改的块，因此它们可以非常快（lvmsync的自述文件提供了更多信息）。

我不知道这样的实用程序，只是知道可以处理它的系统调用，因此，如果编写这样的实用程序，可能会很有帮助。

您实际可以执行的操作是使用qemu-img convert复制文件，但仅在目标FS支持稀疏文件时才有效