清除数据的最快方法是什么?


18

场景:

我们在订阅服务器上有两个表Tbl1Tbl2。在Tbl1正在从出版商复制的Server A,它有两个触发器-插入和更新。触发器正在将数据插入并更新到中Tbl2

现在,我们必须清除(大约9亿条记录)Tbl2中的总数超过1000+百万条记录。以下是一个月到一分钟的数据分布。

  • 一个月-14986826行
  • 一天-483446行
  • 一小时-20143行
  • 一分钟-335行

我在寻找什么

清除该数据的最快方法,不会产生任何生产问题,数据一致性,也可能不会造成停机。因此,我正在考虑按照以下步骤操作,但遇到了:(

脚步:

  1. BCP从现有表Tbl2中输出所需的数据(大约1亿条记录,大约需要30分钟)。
    • 假设我从1Fab2018 10:00 PM开始进行活动,并在1Fab2018 10:30 PM结束了活动。到活动完成时,表Tbl2将获得变为增量的新记录。
  2. 在名称为Tbl3的数据库中创建一个新表
  3. BCP将导出的数据导入到新创建的表Tbl3中(大约1亿条记录,可能需要大约30分钟)
  4. 停止复制作业
  5. 完成BCP输入后,请使用tsql脚本插入新的增量数据。

  6. 挑战是-如何处理增量“更新”语句?

  7. 开始复制

附加问题:

处理场景的最佳方法是什么?

Answers:


26

由于您要删除90%的行,因此建议您将需要保留的行复制到具有相同结构ALTER TABLE ... SWITCH的新表中,然后用新表替换现有表,然后简单地删除旧表。请参阅此Microsoft Docs页面以获取语法。

一个简单的测试台,无需复制即可显示一般原理:

首先,我们将为测试创建一个数据库:

USE master;
IF (SELECT 1 FROM sys.databases d WHERE d.name = 'SwitchTest') IS NOT NULL
BEGIN
    ALTER DATABASE SwitchTest SET SINGLE_USER WITH ROLLBACK IMMEDIATE;
    DROP DATABASE SwitchTest;
END
CREATE DATABASE SwitchTest;
ALTER DATABASE SwitchTest SET RECOVERY FULL;
BACKUP DATABASE SwitchTest TO DISK = 'NUL:';
GO

在这里,我们创建了几个表,并带有一个触发器来将行从表“ A”移动到“ B”,从而近似设置。

USE SwitchTest;
GO
CREATE TABLE dbo.A
(
    i int NOT NULL 
        CONSTRAINT PK_A
        PRIMARY KEY CLUSTERED
        IDENTITY(1,1)
    , d varchar(300) NOT NULL
    , rowdate datetime NOT NULL
) ON [PRIMARY]
WITH (DATA_COMPRESSION = PAGE);

CREATE TABLE dbo.B
(
    i int NOT NULL 
        CONSTRAINT PK_B
        PRIMARY KEY CLUSTERED
    , d varchar(300) NOT NULL
    , rowdate datetime NOT NULL
) ON [PRIMARY]
WITH (DATA_COMPRESSION = PAGE);

GO
CREATE TRIGGER t_a
ON dbo.A
AFTER INSERT, UPDATE
AS
BEGIN
    SET NOCOUNT ON;
    DELETE
    FROM dbo.B
    FROM dbo.B b
        INNER JOIN deleted d ON b.i = d.i
    INSERT INTO dbo.B (i, d, rowdate)
    SELECT i.i
        , i.d
        , i.rowdate
    FROM inserted i;
END
GO

在这里,我们将1,000,000行插入到“ A”中,由于触发器的缘故,这些行也将插入到“ B”中。

;WITH src AS (
    SELECT i.n
    FROM (VALUES (0), (1), (2), (3), (4), (5), (6), (7), (8), (9))i(n)
)
INSERT INTO dbo.A (d, rowdate)
SELECT d = CRYPT_GEN_RANDOM(300), DATEADD(SECOND, s6.n + (s5.n * 100000) + (s4.n * 10000) + (s3.n * 1000) + (s2.n * 100) + (s1.n * 10), '2017-01-01T00:00:00.000')
FROM src s1
    CROSS JOIN src s2
    CROSS JOIN src s3
    CROSS JOIN src s4
    CROSS JOIN src s5
    CROSS JOIN src s6;

清除事务日志,以避免空间不足。不要在生产环境中运行此程序,因为它将事务日志数据发送到“ NUL”设备。

BACKUP LOG SwitchTest TO DISK = 'NUL:';
GO

这段代码创建了一个事务,以确保在我们迁移行时不会写入任何受影响的表:

BEGIN TRANSACTION
EXEC sys.sp_getapplock @Resource = N'TableSwitcher', @LockMode = 'Exclusive', @LockOwner = 'Transaction', @LockTimeout = '1000', @DbPrincipal = N'dbo';
BEGIN TRY
    -- create a table to hold the rows we want to keep
    CREATE TABLE dbo.C
    (
        i int NOT NULL 
            CONSTRAINT PK_C
            PRIMARY KEY CLUSTERED
        , d varchar(300) NOT NULL
        , rowdate datetime NOT NULL
    ) ON [PRIMARY]
    WITH (DATA_COMPRESSION = PAGE);

    --copy the rows we want to keep into "C"
    INSERT INTO dbo.C (i, d, rowdate)
    SELECT b.i
        , b.d
        , b.rowdate
    FROM dbo.B
    WHERE b.rowdate >= '2017-01-11T10:00:00';

    --truncate the entire "B" table
    TRUNCATE TABLE dbo.B;

    --"switch" table "C" into "B"
    ALTER TABLE dbo.C SWITCH TO dbo.B;

    --drop table "C", since we no longer need it
    DROP TABLE dbo.C;

    --shows the count of rows in "B" which were retained.
    SELECT COUNT(1)
    FROM dbo.B
    WHERE b.rowdate >= '2017-01-11T10:00:00';

   --look for rows in "B" that should no longer exist.
    SELECT COUNT(1)
    FROM dbo.B
    WHERE b.rowdate < '2017-01-11T10:00:00';

    --release the applock and commit the transaction
    EXEC sys.sp_releaseapplock @Resource = N'TableSwitcher', @LockOwner = 'Transaction', @DbPrincipal = N'dbo';
    COMMIT TRANSACTION;
END TRY
BEGIN CATCH
    DECLARE @message nvarchar(1000) = ERROR_MESSAGE();
    DECLARE @severity int = ERROR_SEVERITY();
    DECLARE @state int = ERROR_STATE();
    RAISERROR (@message, @severity, @state);
    EXEC sys.sp_releaseapplock @Resource = N'TableSwitcher', @LockOwner = 'Transaction', @DbPrincipal = N'dbo';
    ROLLBACK TRANSACTION;
END CATCH
GO

sp_getapplocksp_releaseapplock防止在同一时间运行此代码的多个实例。如果您允许通过GUI重用此代码,这将很有帮助。

(请注意,只有在每个访问资源的进程都明确实现了相同的手动资源锁定逻辑的情况下,应用程序锁定才有效-没有一种神奇的方法可以像在SQL Server自动锁定行,页面等过程中那样“锁定”表。插入/更新操作。)

现在,我们测试将行插入“ A”的过程,以确保通过触发器将行插入到“ B”中。

INSERT INTO dbo.A (d, rowdate)
VALUES ('testRow', GETDATE());

SELECT *
FROM dbo.B
WHERE B.d = 'testRow'
+ --------- + --------- + ------------------------- +
| 我 d | 行日期|
+ --------- + --------- + ------------------------- +
| 1000001 | testRow | 2018-04-13 03:49:53.343 |
+ --------- + --------- + ------------------------- +
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.