删除Postgres数据库中的所有数据


14

我已经使用--data-only--column-inserts标志从生产服务器上创建了一个新的数据库转储,因此在暂存服务器上执行还原时,我只有一堆插入语句可插入数据。

pg_dump -h localhost -U adminuser --data-only --column-inserts maindb > maindb.sql

从生产转储中还原数据之前,如何先删除登台服务器数据库中的所有数据?

我只想删除所有数据,所以不必删除和创建数据库以及所有其他东西。我只想删除数据并插入所有新数据。

由于多种原因,我没有选择删除和​​创建数据库的选项。我将必须删除所有数据并仅插入,因此无论如何查找该方法,我都愿意这样做,但是显然需要帮助。

我还需要自动执行此过程。将自动执行“从生产数据库中转储数据”,然后“在暂存数据库上删除数据”,然后“将数据还原到暂存数据库”。我只需要“在登台数据库上删除数据”部分的帮助。

我在PostgreSQL 9.5.2上运行

Answers:


24

您不必删除数据库,这应该足以放下所有对象数据库中。这可以使用

drop owned by adminuser

如果然后创建包含create table语句的SQL转储(因此没有--data-only选项),一切都应该没问题。

你也可以去掉--column-inserts的话,这将使进口一个很大更快。


但是,如果确实要删除所有内容,则可以使用一些动态SQL来完成:

do
$$
declare
  l_stmt text;
begin
  select 'truncate ' || string_agg(format('%I.%I', schemaname, tablename), ',')
    into l_stmt
  from pg_tables
  where schemaname in ('public');

  execute l_stmt;
end;
$$

这将public使用单个语句截断模式中的所有表,即使存在连接所有表的许多外键约束,该语句也将起作用。如果您的表分布在多个架构上,则需要在where条件中添加它们。


我知道...使用此命令TRUNCATE table1, table2, ... <list of all tables>;是否与上述@ypercube做相同的事情?他们俩都做同样的事情吗?
uberrebu '16

1
@babababa:是的,我的答案只是动态生成并运行该语句,因此您不必键入所有表名,如果添加新表,它将自动包含在内。
a_horse_with_no_name

不错,只是尝试了一下,而且效果很好,@ ypercube一个效果也很好...非常感谢
uberrebu

6

pg_restore有一个--clean标志(或者可能是--create),它将在运行操作之前自动删除数据。

优秀的文档应该可以极大地帮助您...

为了澄清起见,以免造成混淆:

在重新创建数据库对象之前,先对其进行清理(​​删除)。(除非使用--if-exists,否则如果目标数据库中不存在任何对象,这可能会生成一些无害的错误消息。)

这不会删除实际的数据库..仅删除表/视图/等。

如果由于某种原因,删除和重新创建表是不可接受的,那么您将不得不做更多的工作来手动创建一个脚本,该脚本data only从源数据库,问题TRUNCATEDELETE目标数据库中创建转储,然后加载数据转储。据我所知,没有快速/灵活的方法可以做到这一点。


--clean标志是否只会删除数据并保持数据库和表结构相同但为空?
uberrebu

它将在创建表之前发出放置表。转储文件中存在的任何表。我希望转储文件包含的信息完全可以像以前一样(包括FKeys等)重新创建表。。但这实际上取决于您如何创建转储文件。但是,由于您一直提到“登台”,所以听起来您真正想要的是一种使用生产db中的数据填充数据仓库中的登台表的方法。如果这是你的目标,转储文件可能是错误的做法..
Joishi Bodio

那不是我想做的事,我只想删除数据..数据库和表结构将保持不变并且不受影响...我的问题很清楚我想要做什么,即使是从标题开始
uberrebu

然后,很遗憾地说,您的解决方案将变得更加困难。
Joishi Bodio

3
SELECT 'TRUNCATE ' || input_table_name || ' CASCADE;' AS truncate_query FROM(SELECT table_schema || '.' || table_name AS input_table_name FROM information_schema.tables WHERE table_schema NOT IN ('pg_catalog', 'information_schema') AND table_schema NOT LIKE 'pg_toast%') AS information;  

上面的查询将为数据库中的所有表生成截断查询。


0

注意:我的答案是关于真正删除表和其他数据库对象的;为了删除表的所有数据(即截断所有表),Endre Both在一个月后提供了类似执行良好(直接执行)的语句。

对于那些你不能只是个案DROP SCHEMA public CASCADE;DROP OWNED BY current_user;或什么的,这里有一个独立的SQL脚本我写的,这是交易安全的(即你可以把它放在之间BEGIN;,要么ROLLBACK;只是测试它还是COMMIT;实际做的契税)和清理“所有”数据库对象……好吧,我们应用程序使用的数据库中使用的所有那些对象,或者我可以明智地添加,即:

  • 桌上的触发器
  • 表约束(FK,PK CHECK、、UNIQUE
  • 指标
  • VIEWs(正常或物化)
  • 桌子
  • 顺序
  • 例程(汇总函数,函数,过程)
  • 所有“非”(即非public内部或数据库内部的)模式“我们”都拥有:以“不是数据库超级用户”身份运行时,该脚本很有用;超级用户可以删除所有纲要(尽管仍然非常明确地排除了真正重要的纲要)
  • 扩展(用户提供,但我通常故意保留它们)

不放弃是(有些是故意的;有些只是因为我在数据库中没有示例):

  • public模式(例如用于扩展他们提供的东西)
  • 整理和其他语言环境的东西
  • 事件触发
  • 文字搜索内容,…(请参阅此处,我可能会错过的其他内容)
  • 角色或其他安全设置
  • 复合类型
  • 烤面包桌
  • FDW和外国表

当您要还原的转储与要还原到的数据库具有不同的数据库模式版本(例如,使用Debian ,Flyway或Liquibase / DB-Manul)时,这非常有用dbconfig-common

我还有一个版本可以删除“除了两个表及其所属的所有内容”(一个序列,手动测试,对不起,我知道,很无聊),以防有人感兴趣。差异很小。请与我联系或查看此仓库

的SQL

-- Copyright © 2019, 2020
--      mirabilos <t.glaser@tarent.de>
--
-- Provided that these terms and disclaimer and all copyright notices
-- are retained or reproduced in an accompanying document, permission
-- is granted to deal in this work without restriction, including un‐
-- limited rights to use, publicly perform, distribute, sell, modify,
-- merge, give away, or sublicence.
--
-- This work is provided “AS IS” and WITHOUT WARRANTY of any kind, to
-- the utmost extent permitted by applicable law, neither express nor
-- implied; without malicious intent or gross negligence. In no event
-- may a licensor, author or contributor be held liable for indirect,
-- direct, other damage, loss, or other issues arising in any way out
-- of dealing in the work, even if advised of the possibility of such
-- damage or existence of a defect, except proven that it results out
-- of said person’s immediate fault when using the work as intended.
-- -
-- Drop everything from the PostgreSQL database.

DO $$
DECLARE
        q TEXT;
        r RECORD;
BEGIN
        -- triggers
        FOR r IN (SELECT pns.nspname, pc.relname, pt.tgname
                FROM pg_catalog.pg_trigger pt, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pt.tgrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pt.tgisinternal=false
            ) LOOP
                EXECUTE format('DROP TRIGGER %I ON %I.%I;',
                    r.tgname, r.nspname, r.relname);
        END LOOP;
        -- constraints #1: foreign key
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype='f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- constraints #2: the rest
        FOR r IN (SELECT pns.nspname, pc.relname, pcon.conname
                FROM pg_catalog.pg_constraint pcon, pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace AND pc.oid=pcon.conrelid
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pcon.contype<>'f'
            ) LOOP
                EXECUTE format('ALTER TABLE ONLY %I.%I DROP CONSTRAINT %I;',
                    r.nspname, r.relname, r.conname);
        END LOOP;
        -- indicēs
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='i'
            ) LOOP
                EXECUTE format('DROP INDEX %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- normal and materialised views
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind IN ('v', 'm')
            ) LOOP
                EXECUTE format('DROP VIEW %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- tables
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='r'
            ) LOOP
                EXECUTE format('DROP TABLE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- sequences
        FOR r IN (SELECT pns.nspname, pc.relname
                FROM pg_catalog.pg_class pc, pg_catalog.pg_namespace pns
                WHERE pns.oid=pc.relnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pc.relkind='S'
            ) LOOP
                EXECUTE format('DROP SEQUENCE %I.%I;',
                    r.nspname, r.relname);
        END LOOP;
        -- extensions (only if necessary; keep them normally)
        FOR r IN (SELECT pns.nspname, pe.extname
                FROM pg_catalog.pg_extension pe, pg_catalog.pg_namespace pns
                WHERE pns.oid=pe.extnamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
            ) LOOP
                EXECUTE format('DROP EXTENSION %I;', r.extname);
        END LOOP;
        -- aggregate functions first (because they depend on other functions)
        FOR r IN (SELECT pns.nspname, pp.proname, pp.oid
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns, pg_catalog.pg_aggregate pagg
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast')
                    AND pagg.aggfnoid=pp.oid
            ) LOOP
                EXECUTE format('DROP AGGREGATE %I.%I(%s);',
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- routines (functions, aggregate functions, procedures, window functions)
        IF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='prokind' -- PostgreSQL 11+
            ) THEN
                q := 'CASE pp.prokind
                        WHEN ''p'' THEN ''PROCEDURE''
                        WHEN ''a'' THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSIF EXISTS (SELECT * FROM pg_catalog.pg_attribute
                WHERE attrelid='pg_catalog.pg_proc'::regclass
                    AND attname='proisagg' -- PostgreSQL ≤10
            ) THEN
                q := 'CASE pp.proisagg
                        WHEN true THEN ''AGGREGATE''
                        ELSE ''FUNCTION''
                    END';
        ELSE
                q := '''FUNCTION''';
        END IF;
        FOR r IN EXECUTE 'SELECT pns.nspname, pp.proname, pp.oid, ' || q || ' AS pt
                FROM pg_catalog.pg_proc pp, pg_catalog.pg_namespace pns
                WHERE pns.oid=pp.pronamespace
                    AND pns.nspname NOT IN (''information_schema'', ''pg_catalog'', ''pg_toast'')
            ' LOOP
                EXECUTE format('DROP %s %I.%I(%s);', r.pt,
                    r.nspname, r.proname,
                    pg_get_function_identity_arguments(r.oid));
        END LOOP;
        -- nōn-default schemata we own; assume to be run by a not-superuser
        FOR r IN (SELECT pns.nspname
                FROM pg_catalog.pg_namespace pns, pg_catalog.pg_roles pr
                WHERE pr.oid=pns.nspowner
                    AND pns.nspname NOT IN ('information_schema', 'pg_catalog', 'pg_toast', 'public')
                    AND pr.rolname=current_user
            ) LOOP
                EXECUTE format('DROP SCHEMA %I;', r.nspname);
        END LOOP;
        -- voilà
        RAISE NOTICE 'Database cleared!';
END; $$;

在PostgreSQL 9.6()上进行了测试,但后来的增加(extensionsClémentPrévost贡献)jessie-backports除外。骨料去除率在9.6和12.2上测试,过程去除率也在12.2上测试。修正错误和进一步的改进!


完美,这是我的扩展代码,必须将其放在函数/过程之前:-扩展FOR R IN(SELECT pgs.nspname,pe.extname from pg_extension pe,pg_namespace pns WHERE pns.oid = pe.extnamespace AND pns .nspname NOT IN('information_schema','pg_catalog','pg_toast'))LOOP EXECUTE format('DROP EXTENSION%I;',r.extname); 结束循环;
克莱门特PREVOST

@ClémentPrévost,谢谢,我将您的注释合并到了代码中(希望我做对了,注释缺少格式,请查看)。我通常会故意不删除扩展名(我的用例是从具有不同架构版本的备份中还原,并且通常只加载了一个扩展PL / pgSQL)。但是,这可能对某些人有用,所以,谢谢!
mirabilos

完美,谢谢:)
克莱门特·普雷沃
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.