Questions tagged «amazon-s3»

Amazon S3（简单存储服务）是Amazon Web Services的在线对象存储服务。问题必须与编程有关。有关常规S3支持，功能，配置等的问题不在主题范围内。

7
如何在不写入磁盘的情况下将AWS S3上的文本文件导入熊猫
我有一个保存在S3上的文本文件，它是一个制表符分隔的表。我想将其加载到熊猫中，但由于我在heroku服务器上运行，因此无法先保存它。这是我到目前为止所拥有的。 import io import boto3 import os import pandas as pd os.environ["AWS_ACCESS_KEY_ID"] = "xxxxxxxx" os.environ["AWS_SECRET_ACCESS_KEY"] = "xxxxxxxx" s3_client = boto3.client('s3') response = s3_client.get_object(Bucket="my_bucket",Key="filename.txt") file = response["Body"] pd.read_csv(file, header=14, delimiter="\t", low_memory=False) 错误是 OSError: Expected file path name or file-like object, got <class 'bytes'> type 如何将响应主体转换为大熊猫可以接受的格式？ pd.read_csv(io.StringIO(file), header=14, delimiter="\t", low_memory=False) returns TypeError: …
10
将文件直接从一个S3帐户移动到另一个帐户？
很基本的问题，但是我还没有找到答案。使用Transit，我可以将文件从一个AWS账户上的一个S3存储桶中“移动”到另一个AWS账户中的另一个S3存储桶中，但是实际上是从第一个文件中下载文件，然后将它们上传到第二个文件中。 有没有一种方法可以将文件直接从一个S3帐户移动到另一个帐户，而无需在两个帐户之间下载文件？
6
Amazon AWS Filezilla传输权限被拒绝
我的Amazon AWS实例正在运行，测试页已启动。 我正在尝试将文件通过SFTP发送到服务器以显示我的网站。我已经将Filezilla连接到AWS服务器，但是当我尝试将文件从本地计算机移动到/ var / www / html目录时，它说权限被拒绝。 我只是想出可以将文件移动到/ home / ec2-user目录。所以我的文件在服务器上。但是当我尝试将它们从那里移动到/ var / www / html目录时，它仍然不会将它们移动，权限被拒绝。 我已经研究了大约2个小时，但无法找到答案。 非常感谢任何帮助，我很亲近！哈哈 谢谢 更新
5
Amazon S3静态网站的HTTPS [关闭]
关闭。此问题不符合堆栈溢出准则。它当前不接受答案。 想改善这个问题吗？更新问题，使其成为Stack Overflow的主题。 1年前关闭。 改善这个问题 我想使用Amazon S3和CloudFront托管仅HTTPS的静态网站。到目前为止，这是我所做的： 为静态网站托管设置一个S3存储桶，并将我的网站文件放入其中 创建一个CloudFront分发并将其指向S3存储桶 在我的域的名称服务器中为www指向CloudFront存储桶的子域添加了CNAME记录。 到目前为止，一切都很好-我可以使用该www.example.com地址访问我的网站。但是，我希望只能通过HTTPS访问该站点，为此我从GoDaddy购买了SSL证书。 现在，问题是： 有没有办法在我的S3托管网站上安装此第三方SSL证书？ 有没有办法通过此设置自动将HTTP重定向到https？
12
在S3存储桶之间移动文件的最佳方法？
我想每天将一些文件从生产存储桶复制到开发存储桶。 例如：将productionbucket / feed / feedname / date复制到developmentbucket / feed / feedname / date 由于我想要的文件在文件夹结构中非常深，因此转到每个文件夹并进行复制/粘贴非常浪费时间。 我一直在尝试将驱动器安装到每个存储桶并编写Windows批处理脚本，但这非常慢，并且不必要地将所有文件/文件夹下载到本地服务器并再次备份。
89 amazon-s3 
11
将流通过管道传输到s3.upload（）
我目前正在使用名为s3-upload-stream的node.js插件将非常大的文件流式传输到Amazon S3。它使用了多部分的API，并且在大多数情况下效果很好。 但是，此模块显示了它的年龄，我已经不得不对其进行修改（作者也已弃用它）。今天，我遇到了另一个与亚马逊有关的问题，我真的很想接受作者的建议，并开始使用官方的aws-sdk完成上传。 但。 官方SDK似乎不支持管道 s3.upload()。s3.upload的本质是，您必须将可读流作为参数传递给S3构造函数。 我大约有120多个用于执行各种文件处理的用户代码模块，它们与输出的最终目标无关。引擎将它们传递给可管道传输的可写输出流，并通过管道传递给它。我不能给他们一个AWS.S3对象并要求他们调用upload()它，而无需在所有模块中添加代码。我之所以使用s3-upload-stream它是因为它支持管道。 有什么方法可以使aws-sdks3.upload()可以通过流传输到其中？
30
AWS S3-如何解决“我们计算出的请求签名与签名不匹配”错误？
我已经在网上搜索了两天以上，并且可能已经浏览了大多数在线记录的方案和解决方法，但是到目前为止，对我来说没有任何帮助。 我在运行于PHP 5.3的适用于PHP V2.8.7的AWS开发工具包上。 我正在尝试使用以下代码连接到我的S3存储桶： // Create a `Aws` object using a configuration file $aws = Aws::factory('config.php'); // Get the client from the service locator by namespace $s3Client = $aws->get('s3'); $bucket = "xxx"; $keyname = "xxx"; try { $result = $s3Client->putObject(array( 'Bucket' => $bucket, 'Key' => $keyname, 'Body' => 'Hello …
5
如何从Node.js中的S3 getObject获得响应？
在一个Node.js项目中，我试图从S3取回数据。 当我使用时getSignedURL，一切正常： aws.getSignedUrl('getObject', params, function(err, url){ console.log(url); }); 我的参数是： var params = { Bucket: "test-aws-imagery", Key: "TILES/Level4/A3_B3_C2/A5_B67_C59_Tiles.par" 如果将URL输出带到控制台并将其粘贴到Web浏览器中，它将下载所需的文件。 但是，如果我尝试使用，则会出现getObject各种奇怪的行为。我相信我只是使用不正确。这是我尝试过的： aws.getObject(params, function(err, data){ console.log(data); console.log(err); }); 输出： { AcceptRanges: 'bytes', LastModified: 'Wed, 06 Apr 2016 20:04:02 GMT', ContentLength: '1602862', ETag: '9826l1e5725fbd52l88ge3f5v0c123a4"', ContentType: 'application/octet-stream', Metadata: {}, Body: <Buffer 01 00 00 00 …
3
S3中每个目录的最大文件数
如果我有一百万个图像，将它们存储在某个文件夹/子文件夹层次结构中还是将它们全部直接转储到存储桶中（没有任何文件夹）会更好吗？ 将所有图像转储到无层次结构的存储桶中会降低LIST操作的速度吗？ 快速创建文件夹和子文件夹并设置其ACL（以编程方式而言）会产生大量开销吗？
9
如何确定哪个AWS位置最适合特定区域的客户？
AWS有多个存储位置和EC2实例，它们可以以不同的价格运行。如何确定特定地区的最佳位置。它是直观的（最好是靠近您的服务区域）还是存在可靠性方面的顾虑（特定的AWS位置比其他位置面临更多的停机）。是否有任何数据可用于做出这样的决定？ 我正在开发一个主要针对印度客户的应用程序。因此，我正在考虑选择新加坡或东京。
8
使用Git发布到S3？
有谁知道如何做到这一点？到目前为止，我还无法通过Google找到任何有用的信息。 我真的很想设置本地存储库并将git push其发布到S3，其想法是对资产进行本地版本控制，但在S3上进行远程存储。 可以做到吗？如果可以，怎么做？
87 git  amazon-s3 
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.