Questions tagged «amazon-s3»

这是有关亚马逊云存储服务的问题。

2
Rsync到AWS S3存储桶
对于服务器，我正在托管一个网站，我想将数据和设置备份到S3存储桶中。我发现您不能直接使用rsync备份到S3存储桶。是否有另一种方法可以实现以下rsync命令将数据备份到S3存储桶？ rsync -­av ­/Data /s3bucket 我还想将该服务器上的mysql数据库备份到S3存储桶。实现此目标的最佳方法是什么？ 最后一个问题，如果我设法将所有内容备份到S3。如果服务器崩溃或在最坏的情况下被完全擦除，恢复服务器的最佳方法是什么？我是否必须自己记下服务器设置并重新配置服务器，或者是否可以备份此服务器？
2
尝试将路径53的别名目标设置为S3时，没有可用的目标
我试图建立一个简单的基于亚马逊AWS S3网站，如解释在这里。 我已经设置了S3存储桶（simples3websitetest.com），并赋予了它（希望）正确的权限： { "Version": "2012-10-17", "Statement": [ { "Sid": "AddPerm", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::simples3websitetest.com/*" ] } ] } 我上传了index.html，设置了网站访问权限，可通过http://simples3websitetest.com.s3-website-us-west-2.amazonaws.com/index.html进行访问 到目前为止一切顺利，现在我想设置Amazon Route53访问权限，这就是我遇到的问题。 我已经在我拥有的域（resourcesbox.net）上设置了一个托管区域，然后单击“创建记录集”，并转到“设置别名”步骤，但是当我在S3网站端点下看到“没有可用目标”时，尝试设置别名目标。 我错过了什么？？
7
将ec2弹性块存储卷中的400G文件复制到s3的最快方法是什么？
我必须将400G的文件从弹性块存储卷复制到s3桶中...这些大约是30万个文件，大约1Mb 我试过s3cmd和s3fuse，两个都是真的，真的很慢..对一个完整的一天s3cmd然表示，完成复制，而当我检查了水桶，若无其事（我想，出事了，但至少s3cmd从未抱怨过任何东西） S3Fuse工作了整整一天，并复制了不到10％的文件... 有更好的解决方案吗？ 我当然正在运行Linux（ubuntu 12.04）
5
如何将S3存储桶移动到其他位置
我们使用S3在Web应用程序中存储数百万个条目，现在我们将整个内容移至EC2和EU服务器，我们也希望将S3数据移至EU。但是我们使用的存储桶在美国，并且似乎没有工具可以将整个存储桶中的内容移动到其他存储桶中。 稍后在切换到EU存储桶时，如何同步数据也存在问题，该数据将在迁移运行时同时创建。
1
如何让用户将文件上传到S3存储桶，而不覆盖或删除文件？
我为用户提供以下IAM策略 { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1395161912000", "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:PutObject", "s3:*" ], "Resource": [ "arn:aws:s3:::bucketname" ] }, { "Sid": "list", "Effect": "Allow", "Action": [ "s3:ListAllMyBuckets" ], "Resource": [ "arn:aws:s3:::*" ] } ] } 目的是让用户将文件上传到存储桶，但不能覆盖或删除。用于备份。我从ListBucket和开始PutObject，但是添加了，*因为它不起作用。甚至*不让用户上传文件，仅获得Access Denied。 当我尝试模拟器，它返回Denied - Implicitly denied (no matching statements found).了ListBucket，因为我已经含蓄地允许这似乎很奇怪。 我已经尝试将Cyber​​duck和3Hub作为S3客户端。 知道有什么问题吗？
2
为什么CloudFront不遵循S3网站重定向位置？
我有一个托管在Amazon S3上的网站。它是WordPress托管的旧网站的新版本。 我已经使用元数据设置了一些文件Website Redirect Location来处理旧位置，并将它们重定向到新的网站页面。 例如：我http://www.mysite.com/solution想重定向到，http://mysite.s3-website-us-east-1.amazonaws.com/product.html所以我在solution存储桶中创建了一个带有正确元数据的空文件： Website Redirect Location= /product.html S3重定向元数据等效301 Moved Permanently于SEO很好的。直接从S3域访问URL时，这非常有用。 我还基于网站存储桶设置了CloudFront发行版。当我尝试通过分发访问时，重定向不起作用，即： http://xxxx123.cloudfront.net/solution 不会重定向，而是下载空文件。 所以我的问题是如何通过CloudFront分发保持重定向？或关于如何处理重定向而不降低SEO的任何想法？ 谢谢
3
备份存储在Amazon S3上的数据
我有一个运行Web服务器的EC2实例，该服务器将用户上传的文件存储到S3。这些文件只写入一次，并且永不更改，但偶尔会被用户检索。我们每年可能会积累大约200-500GB的数据。我们希望确保此数据是安全的，尤其是防止意外删除，并且希望能够恢复被删除的文件，无论其原因如何。 我已经阅读了有关S3存储桶的版本控制功能，但是似乎无法找到没有修改历史记录的文件是否可以恢复。有关版本控制，请参见此处的AWS文档： http://docs.aws.amazon.com/AmazonS3/latest/dev/ObjectVersioning.html 在这些示例中，它们没有显示上传数据但从未修改然后删除数据的场景。在这种情况下删除的文件是否可以恢复？ 然后，我们认为可以使用对象生命周期管理将S3文件备份到Glacier： http://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-mgmt.html 但是，这似乎对我们不起作用，因为文件对象没有复制到Glacier而是移到了Glacier（更准确地说，这似乎是一个已更改的对象属性，但无论如何...）。 因此，似乎没有直接的方法来备份S3数据，并且将数据从S3传输到本地服务器可能很耗时，并且随着时间的流逝会产生大量的传输成本。 最后，我们认为我们将每月创建一个新存储桶以用作每月的完整备份，并在第1天将原始存储桶的数据复制到新存储桶。然后使用类似duplicity（http://duplicity.nongnu.org/），我们每晚都会同步备份存储桶。月底，我们将备份存储桶中的内容放入Glacier存储中，并使用原始存储桶的最新副本创建一个新的备份存储桶...并重复此过程。这似乎可行，并且可以最大程度地降低存储/传输成本，但是我不确定双重性是否允许直接进行存储区到存储区传输，而无需先将数据传输到控制客户端。 所以，我想这里有几个问题。首先，S3版本控制是否允许恢复从未修改过的文件？有什么方法可以将S3中的文件“复制”到我错过的Glacier吗？重复性或任何其他工具是否可以直接在S3存储桶之间传输文件以避免传输成本？最后，在备份S3数据的方法上我是否偏离了常规？ 预先感谢您提供的任何见解！ 更新资料 亚马逊最近宣布版本控制现在可以使用生命周期规则
3
将版本化的S3存储桶还原到特定的时间点
假设我已经为我的存储桶启用了S3版本控制：http : //docs.aws.amazon.com/AmazonS3/latest/dev/Versioning.html 然后，假设某人（例如，下级员工）弄乱了S3存储桶（意外删除了一些文件，等等）。 然后，如何将整个版本化存储桶还原到特定的时间点？我相信使用S3的API应该可以做到这一点，但是我宁愿不必自己编写这样的脚本，因为会丢失某些内容（我不是AWS专家）。 有解决这个问题的好方法吗？我将S3存储桶用作我的Rails应用程序的图像存储，因此可以用作rake任务的基于Ruby的东西是理想的。
5
是否需要在Amazon S3上备份数据？
我在S3托管200 GB的产品映像（这是我的主要文件托管）。 我是否需要将该数据备份到其他地方，或者S3是否安全？ 我一直在尝试将S3存储桶安装到EC2实例，然后进行每晚rsync备份。问题在于它大约有300万个文件，因此生成不同的rsync需求需要花费一些时间。备份实际上需要大约3天才能完成。 任何想法如何做得更好？（如果有必要？）
16 backup  amazon-s3 
6
批删除S3文件的最有效方法
我希望能够在S3上一次批量删除成千上万个文件。每个文件的大小在1MB到50MB之间。自然，我不希望用户（或我的服务器）在删除文件过程中等待。因此，问题是： S3如何处理文件删除，尤其是在删除大量文件时？ 是否有一种有效的方法来做到这一点，并使AWS能够完成大部分工作？所谓高效，是指对S3的请求数量最少，并使用服务器上最少的资源花费最少的时间。
2
在Cloudfront上设置访问控制允许来源
我在使用AWS Cloudfront向Firefox提供静态资产时遇到问题。 Chrome可以完美运行，但Firefox返回CORS错误。 如果执行curl，我得到： HTTP/1.1 200 OK Content-Type: application/x-font-opentype Content-Length: 39420 Connection: keep-alive Date: Mon, 11 Aug 2014 21:53:50 GMT Cache-Control: public, max-age=31557600 Expires: Sun, 09 Aug 2015 01:28:02 GMT Last-Modified: Fri, 08 Aug 2014 19:28:05 GMT ETag: "9df744bdf9372cf4cff87bb3e2d68fc8" Accept-Ranges: bytes Server: AmazonS3 Age: 2743 X-Cache: Hit from cloudfront Via: …
5
将Amazon S3用作备份服务的软件
关闭。这个问题是题外话。它当前不接受答案。 6年前关闭。 已锁定。该问题及其答案被锁定，因为该问题是题外话，但具有历史意义。它目前不接受新的答案或互动。 您推荐使用哪种软件将Amazon S3用作每日备份的占位符？ 我需要它是完全自动化的，并且易于还原数据。
15 backup  amazon-s3 
10
兼容S3的对象存储系统
关闭。这个问题是题外话。它当前不接受答案。 想改善这个问题吗？ 更新问题，以使其成为服务器故障的主题。 5年前关闭。 有没有人遇到过接近100％与Amazon S3 RESTful API兼容的对象存储系统？ 我所需要的是位于任何（最好是POSIX）文件系统之上的一层，该文件系统提供了Amazon S3风格的RESTful API ，以使用体面身份验证来存储（PUT），检索（GET），stat（HEAD）和delete（DELETE）。 也欢迎商业项目/想法。 注意： 到目前为止，我已经尝试过桉树和积云；其中尤加利（Eucalyptus）似乎盲目自称与S3兼容。响应XML文档根本不兼容，并且在某些地方根本没有XML文档，因此是不完整的。Cumulus设法使响应文档保持非常相似，但似乎忘记了数据完整性！ 让我解释一下后面的部分：桉树和积云都不支持Amazon S3提供的完整性验证。使用S3可以做的是可以提供一个Base64（MD5（FILE））和PUT请求，然后在S3成功响应之前先由S3对其进行验证。桉树和积云不支持此功能。使用Eucalyptus，我们至少可以通过检查响应文档中提供的MD5来解决此问题（不兼容S3的行为）。在Cumulus中，这是不可能的，因为它不响应任何内容（例如S3）。Cumulus通过在HEAD请求中不给出ETag来使情况更糟。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.