在boto 2中,可以使用以下方法写入S3对象:
- Key.set_contents_from_string()
- Key.set_contents_from_file()
- Key.set_contents_from_filename()
- Key.set_contents_from_stream()
是否有boto 3等效项?将数据保存到S3上存储的对象的boto3方法是什么?
在boto 2中,可以使用以下方法写入S3对象:
是否有boto 3等效项?将数据保存到S3上存储的对象的boto3方法是什么?
Answers:
在Boto 3中,“ Key.set_contents_from_”方法被替换为
例如:
import boto3
some_binary_data = b'Here we have some data'
more_binary_data = b'Here we have some more data'
# Method 1: Object.put()
s3 = boto3.resource('s3')
object = s3.Object('my_bucket_name', 'my/key/including/filename.txt')
object.put(Body=some_binary_data)
# Method 2: Client.put_object()
client = boto3.client('s3')
client.put_object(Body=more_binary_data, Bucket='my_bucket_name', Key='my/key/including/anotherfilename.txt')
另外,二进制数据可以来自读取文件,如官方文档中比较boto 2和boto 3所述:
储存资料
从文件,流或字符串存储数据很容易:
# Boto 2.x from boto.s3.key import Key key = Key('hello.txt') key.set_contents_from_file('/tmp/hello.txt') # Boto 3 s3.Object('mybucket', 'hello.txt').put(Body=open('/tmp/hello.txt', 'rb'))
s3.Object().put()
我最终得到一个零值的对象content-length
。对我来说,put()
只接受字符串数据,但put(str(binarydata))
似乎存在某种编码问题。我最终得到的对象大约是原始数据大小的3倍,这对我来说毫无用处。
boto3还有一种直接上传文件的方法:
s3.Bucket('bucketname').upload_file('/local/file/here.txt','folder/sub/path/to/s3key')
http://boto3.readthedocs.io/zh_CN/latest/reference/services/s3.html#S3.Bucket.upload_file
s3.Bucket(...).upload_fileobj()
方法。
在S3中写入文件之前,您不再需要将内容转换为二进制文件。以下示例在具有字符串内容的S3存储桶中创建一个新的文本文件(称为newfile.txt):
import boto3
s3 = boto3.resource(
's3',
region_name='us-east-1',
aws_access_key_id=KEY_ID,
aws_secret_access_key=ACCESS_KEY
)
content="String content to write to a new S3 file"
s3.Object('my-bucket-name', 'newfile.txt').put(Body=content)
prefix
在这种情况下,您如何给?意思是,如果要将文件存储在my-bucket-name/subfolder/
哪里?
这是一个从s3读取JSON的好技巧:
import json, boto3
s3 = boto3.resource("s3").Bucket("bucket")
json.load_s3 = lambda f: json.load(s3.Object(key=f).get()["Body"])
json.dump_s3 = lambda obj, f: s3.Object(key=f).put(Body=json.dumps(obj))
现在你可以使用json.load_s3
和json.dump_s3
使用相同的API load
和dump
data = {"test":0}
json.dump_s3(data, "key") # saves json to s3://bucket/key
data = json.load_s3("key") # read json from s3://bucket/key
...["Body"].read().decode('utf-8')
。
简洁明了的版本,可用于将文件动态上传到给定的S3存储桶和子文件夹-
import boto3
BUCKET_NAME = 'sample_bucket_name'
PREFIX = 'sub-folder/'
s3 = boto3.resource('s3')
# Creating an empty file called "_DONE" and putting it in the S3 bucket
s3.Object(BUCKET_NAME, PREFIX + '_DONE').put(Body="")
注意:您应始终将AWS凭证(aws_access_key_id
和aws_secret_access_key
)放在单独的文件中,例如-~/.aws/credentials
~
C:\Users\username\.aws\credentials
smart-open
是一个下拉更换为Python的open
,可以从打开的文件s3
,以及ftp
,http
和许多其他协议。
例如
from smart_open import open
import json
with open("s3://your_bucket/your_key.json", 'r') as f:
data = json.load(f)
aws凭证通过boto3凭证(通常是~/.aws/
dir中的文件或环境变量)加载。
您可能会使用以下代码进行写操作,例如在2019年将图像写入S3。要连接到S3,您将必须使用command安装AWS CLI pip install awscli
,然后使用command 输入少量凭证aws configure
:
import urllib3
import uuid
from pathlib import Path
from io import BytesIO
from errors import custom_exceptions as cex
BUCKET_NAME = "xxx.yyy.zzz"
POSTERS_BASE_PATH = "assets/wallcontent"
CLOUDFRONT_BASE_URL = "https://xxx.cloudfront.net/"
class S3(object):
def __init__(self):
self.client = boto3.client('s3')
self.bucket_name = BUCKET_NAME
self.posters_base_path = POSTERS_BASE_PATH
def __download_image(self, url):
manager = urllib3.PoolManager()
try:
res = manager.request('GET', url)
except Exception:
print("Could not download the image from URL: ", url)
raise cex.ImageDownloadFailed
return BytesIO(res.data) # any file-like object that implements read()
def upload_image(self, url):
try:
image_file = self.__download_image(url)
except cex.ImageDownloadFailed:
raise cex.ImageUploadFailed
extension = Path(url).suffix
id = uuid.uuid1().hex + extension
final_path = self.posters_base_path + "/" + id
try:
self.client.upload_fileobj(image_file,
self.bucket_name,
final_path
)
except Exception:
print("Image Upload Error for URL: ", url)
raise cex.ImageUploadFailed
return CLOUDFRONT_BASE_URL + id