Postgres转储仅一部分表以获取开发快照

在生产中，我们的数据库大小为数百GB。为了进行开发和测试，我们需要创建此数据库的快照，这些快照在功能上等效，但大小仅为10或20个演出。

挑战在于我们业务实体的数据分散在许多表中。我们想要创建某种过滤后的快照，以便转储中仅包含某些实体。这样，我们可以每个月左右获取新的快照以进行开发和测试。

例如，假设我们有具有以下多对多关系的实体：

• 公司有N个部门
• 部门有N名员工
• 员工有N个出勤记录

可能有1000家公司，2500个部门，175000名员工以及数千万的出勤记录。我们希望采用一种可复制的方式来获取前100家公司及其所有组成部门，员工和出勤记录。

当前，我们将pg_dump用于架构，然后使用--disable-triggers和--data-only运行pg_dump，以从较小的表中获取所有数据。我们不想编写自定义脚本来提取部分数据，因为我们的开发周期很快，并且担心自定义脚本会很脆弱，并且可能会过时。

我们应该怎么做？是否有第三方工具可以帮助从数据库中提取逻辑分区？这些工具叫什么？

任何一般建议也表示赞赏！

在较大的表上，可以使用COPY命令提取子集...

COPY (SELECT * FROM mytable WHERE ...) TO '/tmp/myfile.tsv'

COPY mytable FROM 'myfile.tsv'

https://www.postgresql.org/docs/current/static/sql-copy.html

您应该考虑维护一组开发数据，而不是仅仅提取一部分产品。在编写单元测试的情况下，可以使用测试所需的相同数据，以尝试使用所有可能的用例。

我不知道已经有软件可以做到这一点，但是我可以想到3种替代解决方案。不幸的是，它们都需要一些自定义编码。

1. 在一个单独的模式中重新创建所有表，然后使用INSERT INTO copy.tablename SELECT * FROM tablename WHERE ...和转储仅将要转储的数据子集复制到那些表中。

2. 编写自己的脚本以将数据作为SQL语句转储。我过去使用过这种方法，只用了20到30行PHP。

3. 修改pg_dump，以便在转储单个表时与-t开关一起接受条件。

http://jailer.sourceforge.net/执行此操作。