从S3 CLI获取最后修改的对象

我有一个用例，其中我以编程方式启动一个EC2实例，从S3复制和可执行文件，运行它并关闭该实例（在用户数据中完成）。我只需要从S3获取最后添加的文件。有没有办法使用CLI从S3存储桶中获取最后修改的文件/对象？

您可以使用以下命令列出存储桶中的所有对象aws s3 ls $BUCKET --recursive：

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

它们是按字母顺序排序的，但是第一列是最后修改的时间。快速操作sort将按日期重新排序：

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1选择最后一行，并awk '{print $4}'提取第四列（对象的名称）。

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

最后但并非最不重要的一点是，将其放入aws s3 cp下载对象中：

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

一段时间后，有一个小小的更新，如何做起来有点优雅：

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

除了额外的reverse功能，我们还可以通过以下方法从列表中获取最后一个条目：[-1]

旧答案：

此命令仅执行此工作而没有任何外部依赖项：

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

以下是bash脚本，该脚本从S3存储桶下载最新文件。我改用AWS S3 Synch命令，因此如果已经存在，它将不会从S3下载文件。

--exclude，排除所有文件

--include，包括所有与模式匹配的文件

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

ps感谢@David Murray

如果这是一个新上传的文件，则可以使用Lambda在新的S3对象上执行一段代码。

如果您确实需要获取最新的文件，则可以使用日期优先，然后按名称排序并使用第一个对象来命名文件。