优化OSM数据的osm2pgsql导入

我目前正在EC2上构建一个实例，在该实例上导入我们正在研究的某些项目的整个Planet.osm快照，其中包含了整个地球数据的价值。我已经启动了一个大型的Ubuntu x64实例，并在Postgres数据库的EBS卷上附加了大量单独的存储，并对其进行了修改以在其中容纳PGSQL数据。

现在服务器osm2pgsql在导入快照时遇到了麻烦。在尝试了几次不同的内存配置和其他操作之后，该过程在完成大部分操作后仍然输出“ Killed”。一旦它在“遍历未决方式”时被杀死，下一次，在稍微调整了细长缓存之后，它到达了“处理方式”，然后崩溃了。根据我的阅读，这通常是由于内存问题造成的。

这是我最近一次运行导入的尝试：

osm2pgsql -v -U osm -s -C 4096 -S default.style -d osm /data/osm/planet-latest.osm.bz2

以下是EC2上大型实例的规格：

大型实例7.5 GB内存，4个EC2计算单元（2个虚拟内核，每个虚拟内核各具有2个EC2计算单元），850 GB本地实例存储，64位平台

我的问题是-是否有一些好的基准测试资源来确定osm2pgsql和Postgres的调优要求？导入速度对我来说并不那么重要，我只是想确保过程安全完成，即使需要4到5天...我已经阅读了Frederick Ramm的“ 优化渲染”去年的SOTM中的“ 链 ”（PDF）文件，但是还有其他好的意见/资源吗？

如文档所述，您可能需要超过256gb的ram来执行此操作。

我对EC2不太了解，但是您可以尝试使用苗条（--slim）模式或尝试Osmosis。

有一个有趣的帖子：http : //weait.com/content/build-your-own-openstreetmap-server 它说，“您必须使用苗条模式”。

由于内存限制，我什至没有尝试使用osm2pgsql来加载planet.osm的路由数据。相反，我使用osm2po：

http://osm2po.de/

大多数文档都是德语的，但是经过一些试验，我设法使它起作用。在专用的Core 2 Quad上花费几天的时间（但它仅使用一个线程）。

在寻找其他内容时，我遇到了以下内容http://aws.amazon.com/datasets/2844-我不确定它是否会对您有所帮助，但这可能是一个起点。

除了使用旧的预先生成的软件包以外，您是否还可以解决您的问题？我似乎在EC2实例中有非常相似的问题。我正在从http://download.bbbike.org/osm/使用PBF Planet

time ./osm2pgsql -S default.style --slim -d gis -C 7000 --hstore /mnt/planet/planet-latest.osm.pbf
osm2pgsql SVN version 0.70.5
...(creating db tables)
Reading in file: /mnt/planet/planet-latest.osm.pbf
Processing: Node(741920k) Way(0k) Relation(0)Killed

real    276m47.695s

更新：看来我找到了解决方案-将请求的内存减少到6 GB（参数-C 6000）后，该程序可以正常工作（至少已经工作了几天，希望今天能完成）。

似乎具有7.5GB内存的m1.large实例太少了，无法容纳所有节点的内存（如今应大约需要11GB）。osm2pgsql似乎需要不到700MB的额外内存，因此，使用-C 7000时，它正在运行的内存不足，但是使用-C 6000（或者也可能是-C 6500）时，它可以工作。

另外，我建议使用具有至少15GB RAM的更高内存实例，这应该使导入速度更快。甚至是双倍大的内存实例，这将花费一倍，但应该能够在不到5小时内以非苗条模式完成完整的星球导入（比苗条模式快约3-4倍）。因此它实际上会更便宜。

我让osm2pgsql使用更少的cpu和更多的RAM在EC2上工作。由于内存问题，它失败了，直到我将实例升级到具有17个内存的RAM的超大内存。