带有Amazon s3存储桶的Geoserver


12

我在我的虚拟实例上运行了Apache Geoserver,但我想知道Geoserver数据目录是否可以指向Amazon S3存储桶。这可能吗?这如何影响性能?

如果S3对于Geoserver的数据目录设置不佳,是否有建议将大量数据添加到我的Geoserver数据目录中?数据目录可能达到100 GB,甚至更多。我应该只购买一台具有大型硬盘的服务器,还是连接到更具扩展性的解决方案(如Amazon S3存储桶)?


什么数据?我猜是图像,但是您将其平铺了吗?也许一些数据库可以赢取栅格:-)
BradHards

1
如果您的数据是栅格数据,并且将为交互式WMS对其进行读取和处理,则S3可能会非常缓慢。根据过去的经验提示,您可能需要查看glusterfs + EBS。
simogeo,2015年

1
我对将S3用作可水平伸缩的GeoServer机群的共享数据段感兴趣。我目前正在研究使用S3Fuse为此安装文件系统。听到这个领域的其他成功/失败,将是非常高兴的。
8bitjunkie 2015年

在这方面有什么经验吗?
geogeek

Answers:


10

“直接”指向S3存储桶(例如,使用s3fs)“可能”是个坏主意。例如/programming/10801158/how-stable-is-s3fs-to-mount-an-amazon-s3-bucket-as-a-local-directory

EBS几乎可以肯定是存储数据以供GeoServer访问的正确位置。

根据EBS标准,非常容易管理100 GB。(最大卷大小为16 TB!)

我可能建议将原始数据存储在S3中,然后根据需要使用AWS CLI工具将S3文件夹的内容同步到本地实例,并复制到您的实例上。http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html)。S3可以说是多余的,但我发现它增加了灵活性和便利性。

注意:如果您打算使用大型多核实例,并且您知道数据量不可能意外增长并且能够自动构建实例,则可以考虑使用实例存储(“临时存储” ),因为您的原始数据在S3中是安全的,因此您可以节省EBS费用,并且在某些情况下实例存储的速度可能比EBS稍快。


1
这是一个全面的答案。大千世界有一点点的信息在这里:boundlessgeo.com/2013/04/...
亚历克斯·利思

您如何使用pyQGIS启动AWS命令?正在处理通话?boto3似乎没有运行。它使用python2在Osgeo外壳中运行,但不运行3 ...
Leo

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.