将大约300GB的文件从一台服务器传输到另一台服务器

我今天有大约200,000个文件正在传输到新服务器。我以前没有做过如此大规模的事情，并且想就我应该如何做得到一些建议。我正在两个Centos 6发行版之间移动它们，它们在该国的不同位置。我在原始服务器上没有足够的HDD空间，无法将所有目录和文件压缩到一个庞大的tarball中，所以我的问题是我应该如何传输所有这些文件？rsync？一些使用rsync的特殊方式？关于如何做的任何投入/建议都将是惊人的。

谢谢

编辑：对于那些想知道的人，我强烈建议screen在运行这样的大型rsync命令时使用a 。尤其是当可能发生一些愚蠢的事情并且您失去了与运行rsync命令的服务器A的连接时。然后，只需拆下屏幕，然后再恢复即可。

充实Simon的答案，rsync是完成这项工作的完美工具：

   Rsync  is  a  fast  and extraordinarily versatile file copying
   tool.  It can copy locally,  to/from  another  host  over  any
   remote  shell,  or to/from a remote rsync daemon.  It offers a
   large number of options  that  control  every  aspect  of  its
   behavior  and permit very flexible specification of the set of
   files to be copied.  It is famous for its delta-transfer algo‐
   rithm,  which reduces the amount of data sent over the network
   by sending only the differences between the source  files  and
   the  existing  files in the destination.  Rsync is widely used
   for backups and mirroring and as an improved copy command  for
   everyday use.

假设您具有对远程计算机的ssh访问权限，则需要执行以下操作：

rsync -hrtplu path/to/local/foo user@remote.server.com:/path/to/remote/bar

这会将目录复制path/to/local/foo到/path/to/remote/bar远程服务器上。bar/foo将创建一个名为的新子目录。如果只想复制目录的内容，而不在目标机上创建该目录的目录，请添加斜杠：

rsync -hrtplu path/to/local/foo/ user@remote.server.com:/path/to/remote/bar

这会将内容复制foo/到远程目录bar/。

一些相关选项：

 -h,                         output numbers in a human-readable format 
 -r                          recurse into directories
 -t, --times                 preserve modification times
 -p, --perms                 preserve permissions
 -l, --links                 copy symlinks as symlinks
 -u, --update                skip files that are newer on the receiver
 --delete                    delete extraneous files from dest dirs
 -z, --compress              compress file data during the transfer
 -C, --cvs-exclude           auto-ignore files in the same way CVS does
 --progress                  show progress during transfer
 --stats                     give some file-transfer stats

它取决于需要复制的速度以及可用的带宽。

对于较差的网络连接，请考虑装有磁带的卡车的带宽。（阅读：邮寄2.5英寸HDD，或自己将其驱动。应该很容易找到300 GB的驱动器）。

如果时间紧迫性较差，或者您有足够的带宽，则rsync很好。如果出现错误，您可以继续操作而无需重新复制较早的文件。

[编辑]我忘记补充一点，如果在复制过程中使用了数据，则可以多次运行rsync。

示例：
1）正在使用数据。Rsync->复制所有数据。这可能要花点时间。
2）再次运行rsync，仅复制更改的文件。这应该很快。

您可以多次执行此操作直到没有更改为止，或者可以通过在复制过程中将数据设置为只读来以智能/安全的方式进行操作。（例如，如果共享位于只读的已使用共享集上。或rsync数据，则晚上在第二次运行共享时将其设置为只读）。

我会去rsync的！我正在使用它将我的服务器备份到非现场服务器，并且工作正常。通常，有几MB可以复制，但是有几天它可以达到20-30GB，并且始终可以正常工作。

使用千兆连接通过NFS进行rsync大约需要10个小时。最好在HDD上复制数据并在服务器之间移动它们。如果需要实际磁盘的一对一副本，请使用dd或类似的方法创建磁盘的原始映像。使用ssh（scp）会导致巨大的开销。对千兆连接进行了经验测试。rsync可以在HA或备份模式下使用的两台服务器之间实现增量同步。我猜。

首次使用NFS和tar / untar（在这种情况下，NFS是最快的协议，tar通过提高CPU利用率来节省网络带宽）

tar cf - * | ( cd /target; tar xfp -)

下次使用rsync