为什么带有参数的此递归CTE在处理文字时不使用索引?


8

我在树结构上使用递归CTE来列出树中特定节点的所有后代。如果我在WHERE子句中写入文字节点值,则SQL Server似乎实际上仅将CTE应用于该值,从而给出了具有较少实际行数的查询计划,等等

具有文字值的查询计划

但是,如果我将值作为参数传递,它似乎实现了(假脱机)CTE,然后在事实之后对其进行过滤

参数值查询计划

我可能看错了计划。我还没有注意到性能问题,但是我担心CTE的实现会导致更大数据集的问题,尤其是在繁忙的系统中。另外,我通常会自己遍历此遍历:我遍历祖先,然后遍历到后代(以确保收集所有相关节点)。由于我的数据如何,每组“相关”节点都非常小,因此实现CTE没有任何意义。当SQL Server似乎意识到CTE时,它给我的“实际”数量带来了相当大的数目。

有没有办法让查询的参数化版本像文字版本一样工作?我想将CTE放在可重用的视图中。

用文字查询:

CREATE PROCEDURE #c AS BEGIN;
    WITH descendants AS (SELECT
         t.ParentId Id
        ,t.Id DescendantId
    FROM #tree t
    WHERE t.ParentId IS NOT NULL
    UNION ALL SELECT
         d.Id
        ,t.Id DescendantId
    FROM descendants d
    JOIN #tree t ON d.DescendantId = t.ParentId)
    SELECT d.*
    FROM descendants d
    WHERE d.Id = 24
    ORDER BY d.Id, d.DescendantId;
END;
GO
EXEC #c;

查询参数:

CREATE PROCEDURE #c (@Id BIGINT) AS BEGIN;
    WITH descendants AS (SELECT
         t.ParentId Id
        ,t.Id DescendantId
    FROM #tree t
    WHERE t.ParentId IS NOT NULL
    UNION ALL SELECT
         d.Id
        ,t.Id DescendantId
    FROM descendants d
    JOIN #tree t ON d.DescendantId = t.ParentId)
    SELECT d.*
    FROM descendants d
    WHERE d.Id = @Id
    ORDER BY d.Id, d.DescendantId;
END;
GO
EXEC #c 24;

设置代码:

DECLARE @count BIGINT = 100000;
CREATE TABLE #tree (
     Id BIGINT NOT NULL PRIMARY KEY
    ,ParentId BIGINT
);
CREATE INDEX tree_23lk4j23lk4j ON #tree (ParentId);
WITH number AS (SELECT
         CAST(1 AS BIGINT) Value
    UNION ALL SELECT
         n.Value * 2 + 1
    FROM number n
    WHERE n.Value * 2 + 1 <= @count
    UNION ALL SELECT
         n.Value * 2
    FROM number n
    WHERE n.Value * 2 <= @count)
INSERT #tree (Id, ParentId)
SELECT n.Value, CASE WHEN n.Value % 3 = 0 THEN n.Value / 4 END
FROM number n;

Answers:


12

Randi Vertongen的答案正确解决了如何通过查询的参数化版本获得所需的计划。如果您对详细信息感兴趣,此答案将通过解决问题的标题来补充。

SQL Server在迭代时重写尾递归公用表表达式(CTE)。从惰性索引假脱机到下层的所有内容都是迭代转换的运行时实现。我写了一个详细说明的执行计划,这部分如何工作的答案,以使用除了在递归公用表表达式

您想在CTE 外部指定一个谓词(过滤器),并让查询优化器将此过滤器向下推入递归(重写为迭代),并将其应用于锚成员。这意味着递归仅从匹配的记录开始ParentId = @Id

无论使用文字值,变量还是参数,这都是一个合理的期望。但是,优化器只能执行已为其编写规则的操作。规则指定如何修改逻辑查询树以实现特定的转换。它们包括确保最终结果安全的逻辑-即,在所有可能的情况下,返回的数据与原始查询规范完全相同。

负责将递归谓词推入递归CTE的规则称为SelOnIterator-在实现递归的迭代器上的关系选择(=谓词)。更准确地说,此规则可以将选择复制到递归迭代的锚点部分:

Sel(Iter(A,R)) -> Sel(Iter(Sel(A),R))

可以使用未记录的提示禁用此规则OPTION(QUERYRULEOFF SelOnIterator)。使用此选项时,优化器无法再将具有文字值的谓词向下推到递归CTE的锚点。您不想要那样,但是它说明了这一点。

最初,此规则仅限于仅使用文字值的谓词。也可以通过指定使用变量或参数OPTION (RECOMPILE),因为该提示启用了参数嵌入优化,从而在编译计划时使用了变量(或参数)的运行时文字值。该计划没有被缓存,因此其缺点是每次执行都需要重新编译。

在某些时候,该SelOnIterator规则得到了改进,可以同时使用变量和参数。为了避免意外的计划更改,在4199跟踪标志,数据库兼容性级别和查询优化器修补程序兼容性级别下对此进行了保护。这是优化程序改进的一种正常模式,但并不总是记录在案。改善通常对大多数人都是有好处的,但是任何改变总是有可能给某人带来消退。

我想将CTE放在可重用的视图中

您可以使用内联表值函数而不是视图。提供您要下推的值作为参数,并将谓词放置在递归锚成员中。

如果愿意,也可以全局启用跟踪标志4199。此标志覆盖了许多优化程序更改,因此您需要在启用该标志的情况下仔细测试您的工作负载,并准备处理回归。


10

尽管目前我没有实际修补程序的标题,但是在您的版本(SQL Server 2012)上启用查询优化器修补程序时,将使用更好的查询计划。

其他一些方法是:

  • 使用OPTION(RECOMPILE)so可以更早地对文字值进行过滤。
  • 在SQL Server 2016或更高版本上,此版本之前的修补程序将自动应用,并且查询也应等效于更好的执行计划运行。

查询优化器修补程序

您可以通过以下方式启用这些修复程序

  • SQL Server 2016之前的Traceflag 4199
  • ALTER DATABASE SCOPED CONFIGURATION SET QUERY_OPTIMIZER_HOTFIXES=ON; 从SQL Server 2016开始。(您的修复程序不需要)

@id启用了此修补程序后,将在执行计划中较早地将递归过滤应用于递归成员和锚成员。

可以在查询级别添加traceflag:

OPTION(QUERYTRACEON 4199)

在具有Traceflag 4199的SQL Server 2012 SP4 GDR或SQL Server 2014 SP3上运行查询时,将选择更好的查询计划:

ALTER PROCEDURE #c (@Id BIGINT) AS BEGIN;
    WITH descendants AS (SELECT
         t.ParentId Id
        ,t.Id DescendantId
    FROM #tree t 
    WHERE t.ParentId IS NOT NULL
    UNION ALL 
    SELECT
         d.Id
        ,t.Id DescendantId
    FROM descendants d
    JOIN #tree t ON d.DescendantId = t.ParentId)
    SELECT d.*
    FROM descendants d
    WHERE d.Id = @Id
    ORDER BY d.Id, d.DescendantId
    OPTION( QUERYTRACEON 4199 );

END;
GO
EXEC #c 24;

带traceflag 4199的SQL Server 2014 SP3上的查询计划

带traceflag 4199的SQL Server 2012 SP4 GDR上的查询计划

不带traceflag 4199的SQL Server 2012 SP4 GDR上的查询计划

主要共识是在使用SQL Server 2016之前的版本时全局启用traceflag4199。此后,我们将讨论是否启用它。AQ / A上这里


相容等级130或140

compatibility_level= 130或140 的数据库上测试参数化查询时,过滤会更早发生:

在此处输入图片说明

由于在SQL Server 2016及更高版本上启用了来自traceflag 4199的'旧'修复程序。


选项(建议)

即使使用了过程,SQL Server也可以在添加时根据文字值进行过滤OPTION(RECOMPILE);

ALTER PROCEDURE #c (@Id BIGINT) AS BEGIN;
    WITH descendants AS (SELECT
         t.ParentId Id
        ,t.Id DescendantId
    FROM #tree t 
    WHERE t.ParentId IS NOT NULL
    UNION ALL 
    SELECT
         d.Id
        ,t.Id DescendantId
    FROM descendants d
    JOIN #tree t ON d.DescendantId = t.ParentId)
    SELECT d.*
    FROM descendants d
    WHERE d.Id = @Id
    ORDER BY d.Id, d.DescendantId
OPTION(
RECOMPILE )

END;
GO

在此处输入图片说明

使用OPTION(RECOMPILE)的SQL Server 2012 SP4 GDR上的查询计划

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.