如何将TB的数据获取到新的Web服务器？

31

我有大量的压缩媒体文件，急需到达远程Web服务器。（从我的办公室）

我们的上传速度仅为500KB / s，这意味着〜23天的上传时间。

新的托管公司不接受邮件驱动器。

在主要的大都市地区有借用较肥的管道的好地方吗？

transfer data

— 布莱恩·韦伯斯特
source

10

我知道这是不是一个答案，甚至是特别有帮助，但如果你的新的托管公司是不是愿意在此与你的工作，你需要找到一个新的新的托管公司。不接受来自客户的驱动器（当然需要付费）非常麻烦。

— voretaq7 2012年

检查我的答案，这是塔尔萨的一家数据存储公司

— Anagio

这里有很好的答案，但是不应该将其转移到ServerFault吗？

— 马克·赫德2012年

1

也许可以，但是我将serverfault视为讨论硬件和软件配置的地方，而这是利用任何网站站长可用来完成更复杂的任务的方式

— Brian Webster 2012年

16

我将与您的一些本地数据中心（机架托管，托管服务提供商等）联系，以了解有关租用一两天的vps或虚拟机的信息。只需确保它们允许您为初始传输引入磁盘，并且他们了解您的带宽需求。

您可能还只是问他们是否会简单地帮助您完成上传。.他们通常倾向于投机取巧，富有创造力，并且可能愿意为您提供一些生意的机会。

— 收费
source

3

还有一个远程数据中心选项：Amazon AWS！运送它们到硬盘驱动器，他们（在撰写本文时）每台设备收费80美元，加上每个数据加载小时2.50美元，再加上只要存储在AWS中的数据存储费用，再加上数据传输出去。可能不是最有吸引力的选择，而只是将其扔在那里。

很高兴知道。我们大量使用AWS！您知道我在哪里可以了解到这项服务吗？在Google上很难找到（至少我正在使用的关键词）

— Brian Webster

1

aws.amazon.com/importexport

— 丰富的

11

如果您有朋友或员工愿意与您的家庭连接伸出援助之手，则可以为大型文件设置种子文件，并将您的员工/朋友设置为种子。当然，您必须购物并将文件复制到所有人。即使那样，您也可以将文件拆分为.rars，并让“团队”发送部分文件（注意确保他们不会下载自己没有的文件）。众包采购！

— 路加
source

3

如果您有在读大学的朋友，这将特别有效。他们不仅可以访问高速大学，而且可以轻松地邀请几个不同宿舍的朋友帮助进行上传。

— 冒犯君主

7

查找本地拥有的区域性ISP，并带来一个可以容纳所有这些的不错的外部驱动器。带着300美元现金，服务器凭证和12包啤酒走进他们的办公室。祈祷他们有一个千兆的上行链路，因为最大100兆位将花费您24小时以上。

如果失败，请寻找本地Internet Internet交换点，并找到与其连接的所有AS。和NANOG的本地人交个好朋友。很有可能您需要发挥创造力。尝试寻找您附近的任何同一地点。

— 杰夫·费兰德
source

2

这就是我要走的路。啤酒倾向于润滑业务互动。

— 艾维克·詹姆斯

1

我认为这很可能是这里的最佳最小电阻解决方案。

— jeremiahd 2012年

5

如果文件是文本文件或其他方法，请在上载之前将其压缩，这可以将文件大小最多减少90％。然后，您可以在服务器上解压缩它们。

您也可以尝试将上传内容分成多个位置。然后，每个人都可以给您最大的速度。

— 约翰·康德
source

4

获得可以将驱动器邮寄到的临时托管公司，然后以更快的速度从临时主机转移到永久主机。

— xpda
source

3

或者只是切换到通过邮件接受驱动器的Web主机。大多数具有体面的客户服务的网络主机将允许这样做。

— 冒犯君主

我认为选择当前的托管公司是出于价格或其他长期标准的考虑，而永久更改费用会更高。

— xpda 2012年

4

这些人在塔尔萨（Tulsa）中，您在个人资料中拥有这些人，因此，如果您在该地区，请打电话给他们或路过并让他们知道您的情况。

http://www.datastorageinc.com/

— Anagio
source

3

我只想在现有答案中添加一些可以改善传输的方法，一旦您将硬盘驱动器连接到具有良好带宽的服务器即可。

我需要在两个Web服务器之间多次传输大量数据，而不是使用通用的FTP或WGET命令上载或下载数据，而是一直使用Linux SCP命令。您可以在此处找到更多信息：http : //www.go2linux.org/scp-linux-command-line-copy-files-over-ssh

您将需要对两台服务器都进行SSH访问，然后可以递归复制一个文件或多个文件。

因此，如果您只有大文件而不是许多小文件，我认为它将足够快地进行复制。

服务器之间的传输速率为11MB /秒，传输将持续约25小时。

祝好运！;）

— 亚历山德鲁·特兰达菲·加泰罗尼亚2
source

1

更好的是，如果目标主机支持，请使用rsync。（很多。）

— Ilmari Karonen 2012年

3

http://aws.amazon.com/importexport/

将您的设备运送到AWS，其余的将由他们负责。

— 副标题
source

“ ...，他们会照顾其余的人”-不，他们不会，除非您的目的地是AWS，否则不会。如果不是，那么他们只会将数据传输到S3存储桶。而且您是从S3存储桶中将其传送到存储目标的人，在这种情况下，它与xpda的答案相同。

— 冒犯君主

2

哦，绝对，我应该像Rich一样对InChargeOfIt答案发表评论（到我发帖时还没有评论）。由于Hamlin11特别对AWS解决方案表现出兴趣并正在寻找此服务的链接，因此我将其发布了。我同意在那儿发表评论会更合适。

— 2012年

好吧，我想，如果您可以编辑答案以配合该评论，并请注意，对于非AWS目的地，您只需要随后使用亚马逊非常胖的管道来启动服务器到服务器的传输，它仍然成为一个很好的答案。

— 冒犯君主

1

如果数据通过慢速连接在您的办公室中，则您处于泡菜状态。如果数据在旧主机上或在旧主机上，则可以尝试服务器到服务器的传输。使用ISP管道而不是狭窄的办公室管道。

如果您是通过ssh的wget通过块进行的，那将比交付安装驱动器要快得多。也就是说，我从未移动超过250GB。

— 布赖恩
source

该问题的紧急部分来自“旧主机”的灾难性停机时间事件。我们没有热备份主机，但是我们最近在本地有备份。

— Brian Webster 2012年

0

正如其他问题所暗示的，它主要归结为找到您周围有良好联系的人。

您可以与之交谈的一组是大学或学院的管理员。只要确保您正在与之交谈的人被授权允许您通过他们的电线传送一些结核病，我相信您可以达成协议。

大学中的许多系，例如粒子物理系，都在发布数PB的数据，因此这可能是另一种可能的选择。

— 博德温
source