通过smb加速rsync

我正在将SMB上的Linux盒备份到NAS。我在本地安装NAS，然后重新同步大量数据（大约100GB）。我相信这需要花费很长时间：超过12个小时。一旦复制了所有内容，我希望速度会更快，因为每天几乎没有任何更改。

有没有办法加快速度？

我当时在想，也许rsync认为它可以与本地硬盘一起使用，并使用校验和而不是时间/大小比较？但是我没有找到强制进行时间和日期比较的方法。我还能检查什么吗？

我认为您对rsync算法以及应如何使用该工具有误解。

Rsync的性能优势来自进行增量传输-即仅移动文件中更改的位。为了确定更改的位，源主机和目标主机必须读取文件，并比较校验和以确定哪些位已更改。这是rsync的“魔术”部分-rsync算法本身。

当您使用SMB挂载目标卷并使用rsync从Linux视为本地源和本地目标（都安装在该计算机上）的文件中复制文件时，大多数现代rsync版本都切换到“整个文件”复制模式，然后关闭增量复制算法。这是一个“胜利”，因为在启用增量复制算法的情况下，rsync会（通过NAS的线路）读取整个目标文件，以确定文件的哪些位已更改。

使用rsync的“正确方法”是在一台计算机上运行rsync服务器，在另一台计算机上运行rsync客户端。每台机器将从其自己的本地存储中读取文件（应该很快），就文件的哪些位已更改达成一致，并仅传输这些位。它们使您正在使用rsync量大的'cp'。您可以使用“ cp”完成相同的操作，它可能会更快。

如果您的NAS设备支持运行rsync服务器（或客户端），那么您就是在做生意。如果仅打算通过SMB将其安装在源计算机上，则最好使用'cp'复制文件。

听起来时间戳是您的问题，因为此页面与以下内容相关：

http://www.goodjobsucking.com/?p=16

建议的解决方案是添加

--modify-window=1

到rsync参数。

是的，您可以加快速度。您需要使源或目标看起来像一台远程计算机，方法是将其寻址为“ localhost:”。

您表示正在本地安装SMB共享。这使源或目标看起来像是rsync的本地路径。rsync手册页指出，复制源和目标是本地路径的位置将复制整个文件。手册页中“ --whole-file”选项的段落中对此进行了说明。因此，不使用增量算法。使用“ localhost:”解决方法将恢复增量算法功能并加快传输速度。

以为我会把我的2便士丢进这里。

我的兄弟刚刚在他的办公室网络上安装了Buffalo NAS。他现在正在寻找异地备份，因此，如果办公室烧毁了，至少他仍然将他所有的业务文档都放在其他地方（许多英里之外）。

我的第一个障碍是要获得他拥有的VPS（小型Linux虚拟专用服务器，没有什么强壮的东西）以VPN用户的身份拨入其宽带路由器（他为此使用了DrayTek），以便它本身可以成为他的VPN，因此它可以安全地直接访问NAS。得到了排序并表现出色。

接下来的问题是将文件从NAS传输到VPS服务器。我首先进行了Samba安装，然后遇到了与您描述的完全相同（甚至更糟）的问题。我做了一个空运行的rsync，花了1个小时30分钟才弄清楚要传输的文件，因为正如Evan所说，在这种方法下，另一端不是rsync，因此它必须进行许多归档Samba安装上的系统调用/读取（通过PPTP /隧道连接，往返时间约为40毫秒）。完全不可行。

我几乎不知道Buffalo实际上运行了一个rsync守护进程，因此，使用它，整个空运行只需要1分钟30秒即可处理87k文件，总计50Gb。显然，传输50Gb文件（从出站带宽仅为100k / sec的宽带链接上的NAS）完全是另一回事（这将需要几天时间），但是，一旦初始rsync完成，则应进行任何增量备份润滑脂减轻（他的数据每天都不会有太大变化）。

我的建议是使用支持rsync的体面NAS，原因是Evan在上面说过。它将解决您的所有问题。

闻起来像您有一个便宜的NAS。也可能来自您的网络带宽...

当涉及大量IO时，“标准”消费者NAS确实很弱，这就是您要在此处进行的操作。它也可能是连接您的PC和NAS的廉价交换机，其强度不足以正确处理所有数据包。

尝试一下，它认为Aleast给您的速度提高了10％http://www.thegeekstuff.com/2009/09/linux-remote-backup-using-rsnapshot-rsync-utility/

有两个潜在的问题根源-您使用了不正确的命令行选项，或者您的NAS带有时间戳记问题（或同时出现:-）。请检查此线程“ rsync到NAS每次都会复制所有内容”以了解更多信息。