我需要在7天之内下载100 GB的文件(大约150个文件),然后这些文件才能过期。下载受到主机的速率限制,因此它比基于正常Internet速度的理论传输速率花费的时间更长。我有一个curl脚本http://curl.haxx.se/docs/manpage.html命令-每个文件一行。
我的想法是自动启动n个EC2实例,执行命令并将文件通过FTP传输到中央位置,然后关闭计算机。我该怎么做?
我不在乎是Linux还是Windows。
我需要在7天之内下载100 GB的文件(大约150个文件),然后这些文件才能过期。下载受到主机的速率限制,因此它比基于正常Internet速度的理论传输速率花费的时间更长。我有一个curl脚本http://curl.haxx.se/docs/manpage.html命令-每个文件一行。
我的想法是自动启动n个EC2实例,执行命令并将文件通过FTP传输到中央位置,然后关闭计算机。我该怎么做?
我不在乎是Linux还是Windows。
Answers:
我建议结合使用cloud-init结合使用Canonical的AMI之一
https://help.ubuntu.com/community/CloudInit
查找有关“用户数据脚本”的部分,您可以在其中使用--user-data-file在启动时自动启动脚本。因此,您只需将要运行的所有命令放在脚本中,然后在脚本末尾添加“ shutdown -h now”。
不确定最佳解决方案。但是,如果您定期执行此操作,并且需要自动启动和停止计算机的某些方法,则可能需要查看以下产品:http : //LabSlice.com(免责声明我是CTO)。