在各大洲之间传输大量数据[重复]

可能重复：
通过Internet共享大文件的免费方法？
在不使用Internet的情况下传输大文件有哪些选择？

我妻子的实验室正在美国与新加坡的合作者在美国做一个项目。他们有时需要跨大洲传输大量的高维图像数据（压缩后约为10GB）。使用当前的技术，对于这种使用情况，哪种解决方案会更好？

我可以想到一些，但没有一个看起来很理想：

• 通过Internet直接连接：传输速率约为500KB / s，也缺少处理错误/重新传输的工具。
• 上载到通用服务器或服务（例如Dropbox）：非美国合作者上载非常麻烦。
• 刻录光盘或复制到HD并通过Courier运送：延迟时间很长，另外还要做一些本地复制工作。

有什么建议么？

更新：双方都不是精通技术的用户。

我建议您使用rsync。Rsync支持增量传输算法，因此，如果您的文件仅被部分更改，或者以前的传输异常终止，Rsync足够智能，可以仅同步新内容/更改内容。

原始Rsync到Windows和其他非Unix兼容系统的端口有几个，包括免费和非免费。有关详细信息，请参见Rsync Wikipedia文章。

SSH上的Rsync被广泛使用，并且运行良好。如今10GB的数据量相对较小，您没有指定“偶尔”的含义。每周？日常？每小时一次？以500KB /秒的传输速率，大约需要6个小时，而不是很长时间。如果您需要经常传输数据，最好创建一个cron任务以自动启动rsync。

跨Internet的连接可能是一个可行的选择，而诸如bittorrent之类的程序正是适合于此目的的，因为它将文件分解成逻辑部分，然后通过Internet发送以在另一端进行重构。

Bittorrent还为您提供自动纠错，修复损坏的部件以及如果有更多的人需要文件，则他们将可以从已下载文件（部分）的众多来源获得文件的好处。

理所当然的人们认为它是下载电影之类的好方法，但是它确实有更多的法律用途。

许多bittorrent客户端还内置了跟踪器，因此您不必具有专用的服务器来托管文件。

将文件分割成例如50MB的块（使用split）。计算所有校验和（例如md5sum）。直接使用FTP和容错FTP客户端（例如lftpLinux）上载。传输所有块和包含所有校验和的文件。

在远程站点上，验证所有块均具有所需的校验和，重新上传失败的块，然后将它们重新组装为原始文件（例如，使用cat）。

根据需要还原服务器的位置（我假设目标站点提供了服务器，并且在文件准备好后在本地启动传输）。您的FTP客户端无需理会。

过去，我曾遇到过类似的问题，并且使用了容错FTP客户端。没有位被翻转过，只是常规连接中止了，所以我可以跳过创建块并仅上传文件。为了以防万一，我们仍然提供了完整文件的校验和。

丹尼尔·贝克（Daniel Beck）回答的一个变体是将文件分成50MB到200MB的块，并为整个集合创建奇偶校验文件。

现在，您可以使用FTP，SCP或其他方式将文件（包括奇偶校验文件）传输到远程站点，并在整个文件到达后进行检查。现在，如果有损坏的零件，如果有足够的块，则可以通过奇偶校验文件修复它们。这或多或少取决于损坏的文件数和创建的奇偶校验文件数。

在Usenet上，奇偶校验文件经常用于发送大文件。多数情况下，它们然后被拆分为RAR档案。通过这种方式发送高达50到60GB的数据并不少见。

您绝对应该检出第一个链接，并且还可以查看QuickPar，该工具可用于创建奇偶校验文件，验证下载的文件，甚至可以使用提供的奇偶校验文件还原损坏的文件。

是一个10GB的大文件吗？可以轻易拆分吗？

我玩的还不是很多，但是它让我感到惊讶，因为它是一个有趣且相对简单的概念，在这种情况下可能会起作用：

http://sendoid.com/

通过ftp / http / https / sftp / ftps（需要登录凭据）使数据可用，并使用客户端上的任何下载管理器。

下载管理器专门设计用于检索数据，而不管可能发生的任何错误，因此它们非常适合您的任务。

对于服务器，FTP服务器通常是最容易设置的。您可以在Wikipedia上查阅列表。HTTPS，SFTP和FTPS允许加密（在纯FTP / HTTP中，密码以明文形式发送），但是客户端软件很少支持SFTP / FTPS，并且HTTP / HTTPS服务器设置很棘手。