如何通过不稳定的连接将大文件上传到S3?


9

我有一堆文件(介于500MB和7GB之间),需要上传到S3存储桶。我的联系非常不稳定。

我尝试通过上传一个500MB的文件,s3cmd但在完成91%的操作(耗时16个小时)后超时

我尝试了Cyber​​Duck,但同样发生了。20%左右后,它失败了,当我尝试重试传输时,它从头开始。Cyber​​ Duck应该有多方面的支持,但我想没有...

我可以将文件拆分为较小的文件,如下所示:如何将.zip文件拆分为多个段?,但我宁愿不这样做,除非这是我唯一的选择。有什么好的程序可以使用,它可以让我将大文件上传到S3并支持简历?

Answers:


6

我只是尝试使用s3tools(s3cmd-1.5.0-rc1)。从他们的常见问题解答http://s3tools.org/kb/item13.htm中获得了此提示。见下文。

s3cmd支持分段上传吗?

是的,最新版本的s3cmd支持Amazon S3分段上传。

当要上传的文件大于15MB时,会自动使用分段上传。在这种情况下,文件将分成多个部分,每个部分的大小为15MB(最后一部分可以更小)。然后将每个部分分别上载,然后在传输完成后在目标位置重建。

使用此新功能,如果零件上载失败,则可以重新启动它,而不会影响已经上载的任何其他零件。

s3cmd中有两个与分段上传相关的选项。他们是:

--disable-multipart

禁用所有文件的分段上传

--multipart-chunk-size-mb =尺寸

分段上传的每个块的大小。大于SIZE的文件会自动以多线程多部分的形式上传,而较小的文件会使用传统方法上传。SIZE以兆字节为单位,默认块大小为15MB,允许的最小块大小为5MB,最大为5GB。

因此,当我上传时,我选择了最小的块大小。您应该在下面看到上传的拆分和恢复。

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

然后我继续。

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

2

我相信在“转帐”窗口中的“赛博鸭”中,您可以右键单击并选择“简历”。

如果这不起作用,Cloudberry将继续恢复上传


由于某些原因,在Cyber​​duck中,我的简历不适用于S3多部分。有什么提示吗?
f01

2

您可以使用FileZilla Pro在S3存储桶之间传输文件。FileZilla Pro支持分段上传,如果出现故障,它将恢复传输。

对于记录,它还具有许多其他功能:大文件支持,批量传输,过滤器,目录比较,远程文件搜索,拖放,速度限制配置。

我是FileZilla Pro团队的成员。

前往https://filezillapro.comhttps://youtube.com/c/FileZillaPro进一步了解


请注意,如果您以某种方式隶属于该产品,则必须在答案中予以披露。
五彩纸屑

@五彩纸屑,对不起,我不知道。我在帮助或行为准则中找不到任何具体的内容。我实际上以为是禁止的。添加了信息。
josuegomes

没问题,我也无法在帮助文本中找到它,所以也许这是国防部应该添加的东西,但是绝对可以!一般而言,它甚至可能更好,因为人们知道他们可以在评论中询问特定于软件的问题并收到某种“官方”答案。:)
五彩纸屑
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.