如何获得Amazon S3存储桶的大小？

我想绘制一个Amazon S3存储桶的大小（以字节为单位），并在寻找一种有效的方法来获取数据。

该s3cmd工具提供一种方式来获得使用总文件大小s3cmd du s3://bucket_name，但我担心它的规模，因为它看起来像它获取每个文件的数据，并计算其自身和能力。由于Amazon按GB个月向用户收费，因此他们不直接公开此值似乎很奇怪。

尽管Amazon的REST API返回了存储桶中的项目数，但s3cmd似乎没有公开它。我可以做，s3cmd ls -r s3://bucket_name | wc -l但这似乎是一个hack。

Ruby AWS :: S3库看起来很有希望，但仅提供了存储桶项的数量，而不提供存储桶的总大小。

是否有人知道任何其他命令行工具或库（更喜欢Perl，PHP，Python或Ruby）提供了获取此数据的方法？

AWS CLI现在支持--query采用JMESPath表达式的参数。

这意味着您可以对list-objects使用sum(Contents[].Size)和计数给定的大小值求和length(Contents[])。

可以使用以下官方AWS CLI运行，并于2014年2月引入

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

现在，仅需使用官方的AWS命令行客户端即可轻松完成此操作：

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

官方文件

如果您不希望计算整个存储桶，则它也接受路径前缀：

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

AWS控制台：

自2015年7月28日起，您可以通过CloudWatch获得此信息。如果需要GUI，请转到CloudWatch控制台：（选择“区域”>“）“度量标准”>“ S3”

AWS CLI命令：

这比这里发布的其他一些命令要快得多，因为它不会单独查询每个文件的大小来计算总和。

 aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

重要提示：必须在Dimensions参数中同时指定StorageType和BucketName，否则将不会获得任何结果。你只需要改变的是--start-date，--end-time和Value=toukakoukan.com。

这是一个bash脚本，您可以使用它避免指定--start-date和--end-time手动进行。

#!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage

s3cmd可以做到这一点：

s3cmd du s3://bucket-name

如果下载使用情况报告，则可以绘制该TimedStorage-ByteHrs字段的每日值。

如果要在GiB中使用该数字，只需除以1024 * 1024 * 1024 * 24（即24小时周期的GiB小时）。如果要以字节为单位的数字，则只需除以24并作图即可。

使用官方的AWS s3命令行工具：

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

这是一个更好的命令，只需添加以下3个参数--summarize --human-readable --recursive之后aws s3 ls。--summarize不需要，尽管可以很好地改变总大小。

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

s4cmd是我找到的最快方法（用Python编写的命令行实用程序）：

pip install s4cmd

现在使用多个线程来计算整个存储桶大小：

s4cmd du -r s3://bucket-name

我使用了此线程前面列出的S3 REST / Curl API，并执行了以下操作：

<?php
if (!class_exists('S3')) require_once 'S3.php';

// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;

// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';

$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
    // If you want to get the size of a particular directory, you can do
    // only that.
    // if (strpos($name, 'directory/sub-directory') !== false)
    $totalSize += $val['size'];
}

echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>

您可以使用s3cmd实用程序，例如：

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

因此，遍历API并播放一些相同的查询，S3会在一个请求中生成存储桶的全部内容，而无需下降到目录中。然后，结果仅需要汇总各种XML元素，而无需重复调用。我没有一个可以存储数千个项目的示例存储桶，所以我不知道它的扩展程度如何，但这似乎很简单。

...有点晚了，但是，我发现的最好方法是使用AWS门户中的报告。我制作了一个PHP类，用于下载和解析报告。有了它，您可以获取每个存储桶的对象总数，以GB或字节小时数为单位的总大小等等。

检查一下，让我知道是否有帮助

亚马逊工具

我建议对大型存储桶使用S3使用情况报告，有关如何获取的信息，请参阅我的操作方法。基本上，您需要在最后一天通过Timed Storage-Byte Hrs下载S3服务的使用情况报告并进行解析以获取磁盘使用情况。

cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n

AWS文档告诉您如何执行此操作：

aws s3 ls s3://bucketnanme --recursive --human-readable --summarize

这是您得到的输出：

2016-05-17 00:28:14    0 Bytes folder/
2016-05-17 00:30:57    4.7 KiB folder/file.jpg
2016-05-17 00:31:00  108.9 KiB folder/file.png
2016-05-17 00:31:03   43.2 KiB folder/file.jpg
2016-05-17 00:31:08  158.6 KiB folder/file.jpg
2016-05-17 00:31:12   70.6 KiB folder/file.png
2016-05-17 00:43:50   64.1 KiB folder/folder/folder/folder/file.jpg

Total Objects: 7

   Total Size: 450.1 KiB

对于真正的技术含量较低的方法：使用可以为您计算大小的S3客户端。我正在使用Panic's Transmit，单击一个存储桶，执行“获取信息”，然后单击“计算”按钮。我不知道它相对于其他方法有多快或准确，但是似乎回馈了我期望的大小。

既然答案很多，我想我会自己解决的。我使用LINQPad在C＃中编写了实现。复制，粘贴并输入要查询的访问密钥，秘密密钥，区域终结点和存储桶名称。另外，请确保添加AWSSDK nuget软件包。

在我的一个存储桶中进行测试，它得出的计数为128075，大小为70.6GB。我知道这是99.9999％的准确率，所以我对结果很满意。

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

如果要从AWS控制台获取大小：

1. 转到S3，然后单击存储桶名称
2. 选择“管理”标签

3. 选择指标标签

默认情况下，您应该看到存储桶的存储指标

我知道这是一个较旧的问题，但这是一个PowerShell示例：

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A 包含存储桶的大小，如果只需要存储桶中特定文件夹的大小，则有一个keyname参数。

要检查所有存储桶的大小，请尝试以下bash脚本

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

您可以使用s3cmd：

s3cmd du s3://Mybucket -H

要么

s3cmd du s3://Mybucket --human-readable

它以易于阅读的形式给出了对象总数和存储桶的大小。

嘿，https：//s3search.p3-labs.com/上有一个适用于AWS S3的metdata搜索工具，该工具提供了有关存储桶中对象的统计信息以及元数据搜索功能。

另外半藏S3工具做到这一点。安装后，您可以执行以下操作：

s3ls -s -H bucketname

但是我相信这也是在客户端汇总的，不会通过AWS API检索。

通过Cloudberry程序，还可以列出存储桶的大小，文件夹数量和文件总数，然后单击存储桶顶部的“属性”。

如果您不想在Windows和OSX上使用命令行，则有一个名为Cyber​​duck的通用远程文件管理应用程序。使用访问/密钥对登录到S3，右键单击目录，然后单击Calculate。

我写了一个Bash脚本s3-du.sh，它将用s3ls列出存储桶中的文件，并打印文件计数，以及大小

s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB

完整脚本：

#!/bin/bash

if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi    

它确实具有子目录的大小，因为Amazon返回目录名称及其所有内容的大小。

CloudWatch现在具有默认的S3服务仪表板，该仪表板在称为“平均桶大小字节”的图形中列出它。我认为此链接将适用于已登录AWS控制台的任何人：

以下方法使用AWS PHP SDK来获取存储桶的总大小。

// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));

// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
    return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));

$total_size_bytes = 0;
$contents = $objects['Contents'];

// iterate through all contents to get total size
foreach ($contents as $key => $value) {
   $total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;

这对我有用。

aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'