我可以使用AWS进行下载,存储和计算吗?


0

我的项目有一个项目,要求从Internet下载大约1.2 TB的数据,并在其上运行脚本,以便将其转换为其他一些最终结果。所以,我在这里可以看到三个问题:

  1. 下载: 由于下载率低,我无法从笔记本电脑下载此数据量。
  2. 存储: 下载的文件必须存储在某处。我的笔记本电脑再没有足够的内存来执行此操作(假设它可能能够神奇地下载文件)
  3. 处理: 下载并存储后,我需要在文件上运行脚本以获得最终结果。鉴于输入的巨大尺寸,我的笔记本电脑无法在合理的时间内完成。

因此,我只看到了 AWS 作为一种选择。我已经研究了他们提供的一些产品,从表面来看,似乎处理部分可以通过所谓的产品完成 EC2 (弹性云计算),存储可以通过产品来完成 S3 ,可扩展的存储。

我找不到任何符合我要求的东西 下载 需要。

那么,我可以使用上面的解决方案来下载数据吗?


1
这个问题似乎有点宽泛(我删除了太开放的问题),但我想你的意思是 处理 可以通过EC2实例(而不是存储)来完成?由于EC2实例是运行某些操作系统的“普通”服务器,因此您应该使用这些服务器来运行将数据下载到S3存储桶的脚本。
slhck

@slhck编辑。谢谢你的评论!
Mooncrater

Answers:


4

EC2实例基本上是运行操作系统的常规服务器,它不仅允许您执行数据处理任务,还允许执行任何其他步骤(如下载),尤其是在下载是一项复杂任务时。

您将配置永久安装的EC2实例 S3桶 进入操作系统,然后创建一个脚本(例如shell脚本),定期或半定期下载数据并将其存储在存储桶中。

一个更简单的选择是使用 AWS Lambda 无需启动EC2服务器即可下载到S3,这意味着您可以独立完成处理,还可以避免先将数据传输到服务器,然后再传输到S3。

请注意,任何数据操作都有一定的价格,因此请务必阅读有关EC2和S3定价政策的信息 计算暂定成本


至于使用EC2实例将数据加载到S3中,请参阅 这里 举个例子。
slhck
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.