S3fs性能改进还是替代？

11

我一直在尝试在EC2服务器上使用s3fs，但这确实很慢。我花了最后5个小时上传了100MB的小文件。

我可以做些什么来提高性能，还是与S3fs有关？如果没有，我可以使用什么替代方法？

amazon-ec2 s3fs

— MB。
source

定义小文件，1K？500字节？1MB？

— thinice 2012年

约200K ...

— MB。

根据您的存储需求，您可能只想使用EBS，除非您需要同时从其他系统访问，在这种情况下，使用EBS设置虚拟nas仍然是更好的选择。

— Tracker1 2014年

7

对于大量较小的文件，S3FS可能不是最佳选择。S3FS的开销也很高。我建议使用类似S3Curl的东西

您甚至可以并行传输。请记住，它永远不会像EBS /本地存储那样快速。

如果您需要将其作为“可挂载”存储，我所知道的S3FS的唯一替代品是S3Backer或s3ql

— 稀料
source

1

我正在寻找可以挂载为文件系统的东西。

— MB。

有s3ql什么想法吗？

— ewwhite 2012年

我将尝试S3Backer和S3Sql。谢谢。

— MB。

对于500个200KB的文件，即使使用S3FS，5小时的速度也确实很慢。可能还有其他原因，我不知道有什么S3FS可调参数会有所帮助

— Thinice 2012年

6

我只是比较了s3fs和riofs。我的测试用例是一个相对简单的bash脚本，它对找到的每个.png文件都运行pngquant。在一个约70个图像的测试桶上，其中约20个png（分布在许多子目录中，这很可能会降低速度）在以下结果中：

s3fs：3m54
riofs：15.9s

因此，对于这个测试用例，riofs的速度要快约15倍！设置也非常简单，尽管文档有些简洁。

关于脚本仍然需要15.9s的事实：它不是很有效，实际上在png上运行pngquant是一个cpu密集过程。

— 米洛·德·弗里斯
source

不幸的是，riofs失败了AWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

只需添加riofs即可。我目前看不到任何基准，但是任何人都可以做的事情/要求。

— f01
source

2

我刚刚发布了https://github.com/kahing/goofys的 v0.0.1版本，部分原因是s3fs中的性能问题。文件创建速度为3-6倍，到第一个字节的时间为58倍。欢迎反馈！

— c
source

2

截至2019年-高飞是推荐的选择。Riotfs已有一段时间没有更新。

— timofey.com

1

我用过[1]，非常好。它有很多命令，可以更轻松地访问aws和s3。

http://timkay.com/aws/

— 阿米特
source

1

欢迎来到服务器故障！虽然从理论上讲这可以回答问题，但最好在此处包括答案的基本部分，并提供链接以供参考。

— Scott Pack

1

我将s3fs与riofs进行了比较，并且由于性能明显提高而几乎切换。问题是riofs仍未更新为v4签名，这意味着它不适用于Frankfurt或China s3存储桶。据所有者称，正在更新中。如果您不使用法兰克福或中国，那么riofs是一个更好的选择。

— 史蒂夫
source

从eu-central-1也无法正常工作

— lrkwz

1

这是旧的，但可能会帮助谁到达这里。

我正在使用aws cli，它的工作非常好（3 Mb / s）

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— 马里奥莫
source