优化rsync以快速传输大文件


19

这就是我需要的:

  • 在源服务器上运行的Rsync守护程序。目标服务器执行rsync拉动,如下所示:
    rsync -ptv rsync:// source_ip:document / source_path / *。abc destination_path /
  • 巨大的二进制文件(3 GB到5 GB)通过LAN从源计算机复制到目标。因此,不需要加密/解密。因此不使用SSH。目标计算机直接连接到rsync守护程序。
  • rsync pull之前,目标文件夹将始终为空。因此,我不必担心有条件地更新某些文件。Rsync pull将始终在目标位置创建新文件(而非更新)。因此,我不需要rsync来计算校验和。

我对接收端rsync消耗的CPU数量不满意?在上述情况下,哪些rsync选项将帮助我优化rsync的使用。我担心的是rsync可能做的比我需要的更多。rsync校验和文件。我不需要那个

还希望看到速度有所提高。

更改块大小,禁用校验和等会有所帮助吗?


如果没有增量要传输,请不要使用rsync。
womble

3
@womble:那我应该使用什么工具?Rsync的建议这里- serverfault.com/questions/384467/...
Varun的

netcat或使用空密码的scp。
womble

3
具有空密码的scp?您确定scp支持空密码。您能否举一个例子或向我指出相关资源?
Varun'5

Answers:


25

看来您可能想看看--whole-fileor -W开关。如果rsync在进行本地文件系统复制,则默认情况下启用此功能,但我认为如果LAN速度较高并通过网络同步,则文档建议使用它。

基本上,它禁用rsync delta算法,并在认为不同的情况下仅传输整个文件。

除非您强行使用,否则不必担心校验和-c。默认情况下,它仅查看上次修改时间和文件大小,并假定如果这些值不同,则文件也不同。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.