从美国将10 TB的文件传输到英国数据中心

96

我正在将服务器从美国从一个数据中心迁移到英国。我的主人说我应该能够达到每秒11兆字节。

两端均为Windows Server 2008。

我的平均文件大小约为100 MB，数据分为五个2 TB驱动器。

传输这些文件的推荐方法是什么？

  • 的FTP
  • 中小企业
  • Rsync / Robocopy
  • 其他？

我不太担心安全性，因为这些反正都是公共文件，但是我只想要一个可以提高11 MB / s完整传输速率的解决方案，以最大程度地减少总传输时间。

file-transfer  large-data 
— 保罗·海内特
source
19
11 MB / s或11 Mb / s？
— 2011年
14
将数据传输到二进制打孔卡并使用携带鸽：)
— 2011年
9
您应提供详细信息。您认为需要多少只鸽子呢？展示你的作品。
— 艾维克·詹姆斯
18
@Evik欧洲人还是非洲人？
— 2011年
8
顺便说一句，Wolfram Alpha是最方便的计算方式，“ 10 TB at 11MB / s”。wolframalpha.com/input/?i=10+TB+at+11MB%2Fs
— 河豚

Answers:

173

而是将硬盘驱动器跨海运输。

如果以11 Mbps的速度充分利用，您将需要不到90天的时间来传输10 TB。

11 Mbps = 1.375 MBps = 116.015 GB /天。

10240 GB / 116.015 GB /天=〜88.3 天。

— Shane Madden
source
42
Sneakernet +1 。另外，您忘记了TCP / IP开销。在理想情况下，它更像是大约100天。
— 克里斯·S
43
一位智者曾经说过：“永远不要低估装满胶带的旅行车的带宽”。该方程式非常正确，并且不会通过更改乘用旅行车来实质改变。（bpfh.net/sysadmin/never-underestimate-bandwidth.html）–
— 罗伯·摩尔
5
最好运送磁带或蓝光盘，而不要运送驱动器。如果要使用驱动器，请确保原件安全保存，以防万一。我自己去买驱动器（除非我有Ultrium 4驱动器），因为10 TB = 410单层蓝光盘！
— 艾伦（Allen）
9
刚刚意识到我输入了11Mbps，但是实际上我的意思是11MB / s。我想这有很大的不同，我的计算大约需要11到14天...这是正确的吗？
— Paul Hinett 2011年
18
仍然相信，在官方磁盘仍在工作的情况下，派人监督10TB备份，然后在设置完成后，就可以用rsync午餐来更新新服务器进行任何更改。您将在大约一天的时间内启动计算机并运行。
— 卢瓦克福雷-拉克鲁瓦
26

我要说的是rsync，在11 MB / s的速度下，您将需要10-14天的时间，即使您受到干扰，rsync也会轻松地从上次停止的地方开始。

我将以11 Mbps的速度像上面建议的那样运送硬盘:)

— 卢卡斯·考夫曼
source
1
您的估计与其他人发布的估计有很大不同（我不知道谁是正确的）。您能提供得出这些数字的方法吗？
— 约翰·加迪尼尔
9
差异来自OP遗漏11 Mbps，而实际上他的意思是11 MBps-快8倍。顺便说一句，在中断的情况下重新启动10 TB rsync可能需要一段时间，不是吗？几个小时或更长时间？
— Frank Farmer
@FrankFarmer：我不会担心rsync重新启动；我通过30Mbps无线线路保留了约20TB的异地副本，重新启动的时间在几秒钟内。最初的副本花了几个星期，但每晚更新通常需要几个小时。
— 哈维尔
@FrankFarmer-rsync似乎可以很好地扩展。我在一条由Sneakernet发起的乡村ADSL1线路上有一个约2TB的空间，但是如果没有任何变化，每晚大约需要5分钟来进行rsync。
— Flexo
6
rsync重新启动时间取决于文件数量（根据stat我的经验，主要取决于时间），而不取决于总数据。我希望没有明显的等待（最多几分钟）。虽然我对rsync的经验最高不到5TB。
— 德罗伯特
15

当然是Rsync。

至少您可以在休息后的任何时间继续，并且没有任何痛苦。

— 科尔雅文·伊凡（Korjavin Ivan）
source
7
以100％的利用率复制3个月以上。抱歉，但这是传输大量数据的糟糕方法。
— 克里斯·S
我必须同意@ChrisS，rsync仅复制大文件效率不高。对于我的东西，我最终使用tar了over netcat或ssh进行了初始传输。它更快并且可以立即开始传输，而rsync首先扫描所有文件则需要时间。如果此操作被中断，您rsync以后仍可以使用。实际上，tar无论如何我有时都会这样做，以确保所有权限，套接字文件等都是正确的。
— 马丁·沙勒
1
在OP纠正了他有〜100Mb（而不是11Mb）的连接之后，rsync变得更加有意义。+1首先提及。
— 克里斯·S
10

您应该使用rsync。发送前，它将压缩数据并进行重复数据删除。它还可以恢复部分传输，这对于任何大型传输都非常重要。

可能不会转移10 TB；如果是日志和文本，则很可能不到1 TB；也许低于1 TB。

有一些工具比rsync做得更好，并且可能找到更多匹配项。您可以使用lrzip，等等。

有些特定类型的数据无法很好地压缩并且不包含文字重复项，例如视频和其他媒体。在这些情况下，FTP和rsync所做的工作几乎相同。

— 将
source
3
RSync重复数据删除了吗？我认为它仅在文件级别执行此操作，这意味着重复数据删除在这种情况下几乎没有用。
— devicenull
6

我知道这已经被接受，但是您是否考虑过将磁盘带到可以获取更多带宽的数据中心/提供商/主机上？这可能会花费您一些钱，但是将10240Gb复制到备份磁盘并发送也会花费时间和金钱（2 x金钱）。

此外，您还可以确保磁盘不会在传输中损坏。

— 阿斯肯
source
这个答案与接受的答案有什么不同？
— 克里斯·S
2
@Chris此答案建议将磁盘传输到同一大陆上的更大管道。
— Alex Jasmin
5

11Mbps？这是您的一个限制。在您的情况下，我将简单地：

  • 克隆数据
  • 压缩它
  • 两端的租用服务器至少具有10倍以上的带宽（在同一数据中心内或在您附近的数据中心内）。
  • 传输文件
  • 将数据应用于新服务器。

如果您真的没有增加带宽的解决方案，那么运送物理驱动器会更快。

从我的痛苦经历来看，硬盘驱动器往往会损坏邮件... USB闪存驱动器是一种用于频繁数据传输的更好的解决方案。在您的情况下，将需要其中一些：)因此，请在多个硬盘驱动器上发送2个数据副本。

考虑到您拥有的数据量，如果另一端具有相同的硬件/软件来插入驱动器，则还可以从RAID 5或RAID 6阵列发送驱动器。但是在这种情况下，请记住标记驱动器的顺序及其序列号，因此在重新配置时不会混淆。

— 土狼
source
1
抱歉，11Mbps是一个错误的类型，它是11MB / s ...我在上面的评论之一中提到了。
— Paul Hinett
4

在这种情况下，尽管我必须同意“使用硬盘运输”，但在这里，当我必须第一次复制大量文件时，可以使用以下复制解决方案：

虽然rsync可以使两个数据存储保持同步是很好的，但是它为初始传输带来了很多不必要的开销。我认为最快的方法是通过tar管道传输netcat。在接收器站点上，您还可以netcat在侦听模式下使用，它将输入的数据通过管道传输到提取中tar。好处是tar立即开始发送并netcat以纯TCP流的形式发送它，而没有额外的高级协议开销。这应该尽快。但是，在最后一个位置重新开始中断的传送并不简单。

通过使用正确的tar选项或在管道中添加压缩工具，也可以轻松压缩用于传输的数据。请注意，netcat发送的日期未加密。如果这不是一个选择，ssh则可以使用加密连接（tar <options> | ssh <target> -c 'tar -x <options>'）。

如果所有数据都已传输，rsync则可用于确保同时更新所有已更新的文件。另外，IIRC tar不会创建套接字，否则将丢失该套接字，但是无论如何它们实际上并没有用于数据中心数据。

— 马丁·沙勒
source
不利的一面是，它不能容忍插班
— Joel Coel
3

您考虑过IPoAC吗？

一只鸽子也许可以在一个小时左右的时间内传输数十GB的数据，即使考虑到丢失的驱动器，按平均带宽计算，它也比当前的ADSL标准更为有利。

— 威姆
source
21
鸽子会在操作员描述的距离处遭受信号损失。
— 罗伊·廷克
@RoyTinker清除的IPoAC需要使用窗口化过程来实现。
— JamesBarnett 2011年
3

同样，第一个建议是运送驱动器。

第二个建议是使用rsync到rsyncd，而不是通过SSH。我尝试了很多事情，通常是最快的。切记打开压缩。另外，请查看增加或减小rsync缓冲区大小以获得最佳传输速率。这也可能有助于增加MTU大小。但是，这仅在路由器途中不分段您的数据包的情况下才有用。有确定它们是否这样做的方法。

不幸的是，没有设置总是最好的。您将不得不进行实验，以找出哪种方法最适合您的情况。

— 斯博塔
source
2

你提到的服务器运行的是Windows 2008会微软DFS是合适的？在低端存在一些魔术，它试图从连接中获得尽可能多的带宽，并且还具有压缩和重复数据删除（IIRC）功能。

请注意，硬盘，DVD或BluRays会更快...我的计算是在11天内以11 MB / s的速度运行...

— 蒂尔南
source
1

您可以为此使用洪流。

在一端创建一个私有torrent，在另一端使用客户端。

尽管已进行加密，但是您必须检查自己的要求。

— 德拉戈斯
source
1
一对一的洪流关系并不比一对一的文件传输好。如果两个站点之间的管道有限，则您需要在不同的管道上放置多个播种机，理想情况下应在地理位置上分布。
— 杰里米，
@Jeremy-就吞吐量而言，它并没有好坏。就可靠性（轻松的暂停/恢复）而言，这可能会更好，这对于这种大小的xfer可能很重要
— Joel Coel11年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.