我的项目有一个项目,要求从Internet下载大约1.2 TB的数据,并在其上运行脚本,以便将其转换为其他一些最终结果。所以,我在这里可以看到三个问题:
- 下载: 由于下载率低,我无法从笔记本电脑下载此数据量。
- 存储: 下载的文件必须存储在某处。我的笔记本电脑再没有足够的内存来执行此操作(假设它可能能够神奇地下载文件)
- 处理: 下载并存储后,我需要在文件上运行脚本以获得最终结果。鉴于输入的巨大尺寸,我的笔记本电脑无法在合理的时间内完成。
因此,我只看到了 AWS 作为一种选择。我已经研究了他们提供的一些产品,从表面来看,似乎处理部分可以通过所谓的产品完成 EC2 (弹性云计算),存储可以通过产品来完成 S3 ,可扩展的存储。
我找不到任何符合我要求的东西 下载 需要。
那么,我可以使用上面的解决方案来下载数据吗?
1
这个问题似乎有点宽泛(我删除了太开放的问题),但我想你的意思是 处理 可以通过EC2实例(而不是存储)来完成?由于EC2实例是运行某些操作系统的“普通”服务器,因此您应该使用这些服务器来运行将数据下载到S3存储桶的脚本。
—
slhck
@slhck编辑。谢谢你的评论!
—
Mooncrater