如何使用btrfs发送/接收通过慢速且不可靠的网络连接传输备份快照?


11

我想使用btrfs的发送/接收功能通过相当慢的连接(初始种子约为50-100GB,上游带宽约为1-2MBit / s)和不可靠的连接(两端每天强制中断)传输备份快照。

我看到以下要求:

  • 加密传输(通常使用SSH隧道实现)
  • 中断连接的坚固性

似乎ZFS能够自动恢复中断的传输,类似于rsync的方式。这是否也适用于BTRFS?对于中断的传输,发送/接收Wiki页面没有用。如果btrfs将恢复中断的传输,那么我所要做的就是使用SSH隧道并在中断时恢复。

如果没有,我必须在它们之间使用一些缓冲区,以确保btrfs-connection能够在中断后幸存,或者使两个服务器彼此靠近以进行播种(这对于每天传输出色的添加文件来说是个问题。容量和发送快照)。

传输种子和快照需要考虑什么?

Answers:


8

我一直在使用“ btrfs send”进行备份。它并没有处理恢复碎传输。我写了一个工具,不会恢复传输,并自动同步快照在本地BTRFS文件系统到Amazon S3。欢迎您尝试一下,看看是否有帮助,我希望收到任何反馈!它都在GitHub(https://github.com/AmesCornish/buttersink)和PyPi(https://pypi.python.org/pypi/buttersink/)上。


我一有空就一定会研究一下。您的自述文件说尚未实现ssh-backend,这意味着仍在队列中同步到远程btrfs文件系统吗?
延斯·埃拉特

听起来不错,但不幸的是我也需要SSH才能使它有用。
Matthias Urlichs 2014年

2
SSH后端现已实现(自0.6版本开始)
user80646 2015年

4

“发送”到文件或通过管道。在另一端“接收”文件或管道。如果连接有问题,则可能最好使用文件和rsync之类的传输工具。


1
没错,甚至可以将文件分成多个块。rsync最好恢复中断的传输(或将--partial与rsync一起使用)
ascobol 2014年

1

除了buttersink的S3简历,还btrbk支持:

恢复备份(如果一段时间无法达到备份目标)

编辑:从那时起,我了解到单个快照的传输不会通过恢复btrbk,但是它将处理离线的备份目标(重新开始中断的快照的传输)。


btrbk尽管我有点不喜欢编程语言的选择,但是我肯定会看一下它如何实现恢复传输,但是它似乎实现了我所需的功能集。
詹斯·埃拉特
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.