通过高速，高延迟的WAN链接传输单个大文件的最佳方法是什么？

这看起来与这一个，但它是有所不同的。

两个公司站点之间存在此WAN链接，我们需要传输一个非常大的文件（Oracle转储，约160 GB）。

我们已经拥有完整的100 Mbps带宽（经过测试），但是由于TCP的工作方式（ACK等），看起来单个TCP连接无法使其达到最大。我们使用iperf测试了该链接，当增加TCP窗口大小时，结果发生了巨大变化：使用基本设置，我们可以达到〜5 Mbps的吞吐量，而使用更大的WS则可以达到〜45 Mbps，但仅此而已。网络延迟约为10毫秒。

出于好奇，我们使用多个连接运行了iperf，我们发现，当运行其中四个连接时，它们确实可以达到〜25 Mbps的速度，从而填满了所有可用带宽；因此，关键在于执行多个同时传输。

使用FTP，情况变得更糟：即使使用优化的TCP设置（高窗口大小，最大MTU等），单次传输也无法获得超过20 Mbps的速度。我们尝试同时通过FTP传输一些大文件，的确比传输单个文件好很多。但是罪魁祸首变成了磁盘I / O，因为很快就会从同一磁盘瓶颈中读取和写入四个大文件；同样，我们似乎无法将单个大文件拆分为较小的文件，然后将其合并，至少在可接受的时间内（显然，我们不能花时间将文件拼接/合并回去）。转移）。

理想的解决方案是使用多线程工具，该工具可以同时传输文件的各个块。像eMule或BitTorrent这样的点对点程序已经可以执行，但是从单个源到单个目标。理想情况下，该工具将允许我们选择要使用的并行连接数，并且当然可以优化磁盘I / O，以免在文件的各个部分之间疯狂地跳转。

有人知道这样的工具吗？

或者，有人可以提出更好的解决方案和/或我们没有尝试过的东西吗？

PS我们已经考虑过将其备份到磁带/磁盘上并以物理方式将其发送到目的地。如果WAN不削减它，这将是我们的极端措施，但正如Tanenbaum所说，“永远不要低估充满胶带的旅行车的带宽。”

搜索“高延迟文件传输”会带来很多有趣的结果。显然，这是CompSci社区和商业社区都深思熟虑的问题。

一些符合要求的商业产品：

• FileCatalyst的产品可以使用UDP或多个TCP流通过高延迟网络传输数据。他们还具有许多其他功能（动态压缩，增量传输等）。

• Aspera 的fasp文件传输“技术”似乎也很符合您的需求。

在开源世界中，uftp项目看起来很有希望。您并不是特别需要它的多播功能，但是其基本思想是向接收方发送文件，在传输结束时接收丢失块的NAK，然后发送NAK块（起泡，冲洗，重复）。听起来这将满足您的需求，因为直到文件传输完成一次之后，接收方才发出ACK（或NAK）信号。假设网络只是潜在的，而不是有损的，这也可以满足您的需求。

真的很奇怪。建议设置一个简单的Web服务器在网络上托管文件（顺便建议我建议使用nginx），然后在另一端安装一台装有Firefox的PC，然后安装DownThemAll扩展名。

这是一个下载加速器，支持分块和重新组装。
您可以将每次下载分成10个块进行重新组装，这实际上可以使事情变得更快！

（注意：我从未尝试过在最大160GB的容量上使用它，但在20GB的ISO文件上确实能很好地工作）

该UDT运输可能是高延迟通信中最流行的交通工具。这导致了他们称为Sector / Sphere的其他软件上的“高性能分布式文件系统和并行数据处理引擎”的出现，值得一看。

我的回答有点晚了，但是我在寻找fasp时才发现了这个问题。在搜索过程中，我还发现了以下内容：http : //tsunami-udp.sourceforge.net/，即“海啸UDP协议”。

从他们的网站：

一种快速的用户空间文件传输协议，使用TCP控制和UDP数据在超高速长距离网络（≥1 Gbps甚至10 GE）上进行传输，旨在提供比同一网络上的TCP更大的吞吐量。网络。

就速度而言，该页面提到了此结果（通过1GBit链接使用了芬兰赫尔辛基和德国波恩之间的链接：

图1-互联网上的国际传输，平均速度为800 Mbit /秒

如果要使用下载加速器，请看lftp，据我所知，这是唯一可以进行递归镜像的下载加速器。

最相关的页面“如何通过网络传输大量数据”中的bbcp实用程序似乎是最简单的解决方案。