如何确定哪个查询正在填充tempdb事务日志?


65

我想知道如何确定确切的查询或存储的proc,而这些查询或存储的proc实际上正在填充TEMPDB数据库的事务日志。



我是这个网站的新手,不确定如何编辑帖子。我无权访问PROD以提供更多信息。我从PROD DBA听到的所有信息都是您的代码正在填充tempdb!是否有任何编码最佳实践可以遵循,以确保我们的代码不会填满tempdb的日志?

@prasanth您将需要使用相同的openid注册此站点,以便在此处更改您的问题。这取决于您的代码在做什么,为什么要使用tempdb。执行计划应该显示它在做什么,如果您发布实际的代码,我们可以帮助改进它。
Cade Roux 2012年

@CadeRoux我认为他正在尝试标识查询(一个或多个查询),而不是试图弄清楚为什么一个特定的已知查询导致了问题。
亚伦·伯特兰

@AaronBertrand是的,但是评论似乎表明他想要最佳编码实践。
Cade Roux 2012年

Answers:


73

http://www.sqlservercentral.com/scripts/tempdb/72007/

;WITH task_space_usage AS (
    -- SUM alloc/delloc pages
    SELECT session_id,
           request_id,
           SUM(internal_objects_alloc_page_count) AS alloc_pages,
           SUM(internal_objects_dealloc_page_count) AS dealloc_pages
    FROM sys.dm_db_task_space_usage WITH (NOLOCK)
    WHERE session_id <> @@SPID
    GROUP BY session_id, request_id
)
SELECT TSU.session_id,
       TSU.alloc_pages * 1.0 / 128 AS [internal object MB space],
       TSU.dealloc_pages * 1.0 / 128 AS [internal object dealloc MB space],
       EST.text,
       -- Extract statement from sql text
       ISNULL(
           NULLIF(
               SUBSTRING(
                 EST.text, 
                 ERQ.statement_start_offset / 2, 
                 CASE WHEN ERQ.statement_end_offset < ERQ.statement_start_offset 
                  THEN 0 
                 ELSE( ERQ.statement_end_offset - ERQ.statement_start_offset ) / 2 END
               ), ''
           ), EST.text
       ) AS [statement text],
       EQP.query_plan
FROM task_space_usage AS TSU
INNER JOIN sys.dm_exec_requests ERQ WITH (NOLOCK)
    ON  TSU.session_id = ERQ.session_id
    AND TSU.request_id = ERQ.request_id
OUTER APPLY sys.dm_exec_sql_text(ERQ.sql_handle) AS EST
OUTER APPLY sys.dm_exec_query_plan(ERQ.plan_handle) AS EQP
WHERE EST.text IS NOT NULL OR EQP.query_plan IS NOT NULL
ORDER BY 3 DESC;

编辑

正如Martin在评论中指出的那样,这不会在tempdb中找到占用空间的活动事务,它只会找到当前正在那里使用空间的活动查询(并且可能是当前日志使用的罪魁祸首)。因此,可能存在未完成的事务,但是导致问题的实际查询不再运行。

您可以将inner joinon 更改sys.dm_exec_requestsleft outer join,然后将返回当前未在积极运行查询的会话的行。

马丁的查询...

SELECT database_transaction_log_bytes_reserved,session_id 
  FROM sys.dm_tran_database_transactions AS tdt 
  INNER JOIN sys.dm_tran_session_transactions AS tst 
  ON tdt.transaction_id = tst.transaction_id 
  WHERE database_id = 2;

...将session_id用占用日志空间的活动事务来标识s,但是您不一定能够确定导致问题的实际查询,因为如果它现在没有运行,则不会在上面的查询中捕获活动请求。您可能可以使用来反应性地检查最近的查询,DBCC INPUTBUFFER但可能无法告诉您您想听的内容。您可以采用类似的方式进行外部联接,以捕获那些正在运行的对象,例如:

SELECT tdt.database_transaction_log_bytes_reserved,tst.session_id,
       t.[text], [statement] = COALESCE(NULLIF(
         SUBSTRING(
           t.[text],
           r.statement_start_offset / 2,
           CASE WHEN r.statement_end_offset < r.statement_start_offset
             THEN 0
             ELSE( r.statement_end_offset - r.statement_start_offset ) / 2 END
         ), ''
       ), t.[text])
     FROM sys.dm_tran_database_transactions AS tdt
     INNER JOIN sys.dm_tran_session_transactions AS tst
     ON tdt.transaction_id = tst.transaction_id
         LEFT OUTER JOIN sys.dm_exec_requests AS r
         ON tst.session_id = r.session_id
         OUTER APPLY sys.dm_exec_sql_text(r.plan_handle) AS t
     WHERE tdt.database_id = 2;

您还可以使用DMV sys.dm_db_session_space_usage查看会话的总体空间利用率(但同样,您可能无法获取查询的有效结果;如果查询未处于活动状态,则获取的内容可能不是实际的罪魁祸首)。

;WITH s AS
(
    SELECT 
        s.session_id,
        [pages] = SUM(s.user_objects_alloc_page_count 
          + s.internal_objects_alloc_page_count) 
    FROM sys.dm_db_session_space_usage AS s
    GROUP BY s.session_id
    HAVING SUM(s.user_objects_alloc_page_count 
      + s.internal_objects_alloc_page_count) > 0
)
SELECT s.session_id, s.[pages], t.[text], 
  [statement] = COALESCE(NULLIF(
    SUBSTRING(
        t.[text], 
        r.statement_start_offset / 2, 
        CASE WHEN r.statement_end_offset < r.statement_start_offset 
        THEN 0 
        ELSE( r.statement_end_offset - r.statement_start_offset ) / 2 END
      ), ''
    ), t.[text])
FROM s
LEFT OUTER JOIN 
sys.dm_exec_requests AS r
ON s.session_id = r.session_id
OUTER APPLY sys.dm_exec_sql_text(r.plan_handle) AS t
ORDER BY s.[pages] DESC;

使用所有这些查询后,您应该能够缩小谁在使用tempdb以及如何使用tempdb,特别是如果您发现问题的话。

最小化tempdb利用率的一些技巧

  1. 使用更少的#temp表和@table变量
  2. 最小化并发索引维护,并在SORT_IN_TEMPDB不需要时避免使用该选项
  3. 避免不必要的游标;如果您认为这可能是瓶颈,请避免使用静态游标,因为静态游标会在tempdb中使用工作表-尽管这是游标的类型,如果tempdb并非瓶颈,我总是建议您
  4. 尝试避免假脱机(例如,在查询中多次引用的大型CTE)
  5. 不要使用火星
  6. 彻底测试快照/ RCSI隔离级别的使用-不要只为所有数据库打开快照,因为您被告知它比NOLOCK更好(它是免费的,但不是免费的)
  7. 在某些情况下,这听起来似乎不太直观,但是使用了更多的临时表。例如,将庞大的查询分解为多个部分可能会效率略低,但是如果它可以避免对tempdb的大量内存溢出,因为单个较大的查询需要太大的内存授权...
  8. 避免为批量操作启用触发器
  9. 避免过度使用LOB类型(最大类型,XML等)作为局部变量
  10. 保持交易简短有趣
  11. 不要将tempdb设置为每个人的默认数据库-

您可能还认为,tempdb日志的使用可能是由您几乎无法控制或无法控制的内部进程引起的,例如数据库邮件,事件通知,查询通知和服务代理都以某种方式使用了tempdb。您可以停止使用这些功能,但是,如果要使用它们,则无法确定它们如何以及何时使用tempdb。


感谢您的链接亚伦。总的来说,有什么编码最佳实践需要遵循,以避免填满TEMPDB事务日志?

2
嗯,只是测试了一下,即使session_id显示以下查询,也没有找到我的冒犯会话SELECT database_transaction_log_bytes_reserved,session_id FROM sys.dm_tran_database_transactions tdt JOIN sys.dm_tran_session_transactions tst ON tdt.transaction_id = tst.transaction_id WHERE database_id = 2。我期望找到的查询是在运行以下命令之后BEGIN TRAN CREATE TABLE #T(X CHAR(8000)) INSERT INTO #T SELECT name FROM sys.objects
Martin Smith

@Martin:注意cte中有一个@@ SPID,它将结果限制为当前会话。如果您希望它涵盖所有会话,则将其删除。
Ben Thul 2012年

@BenThul-我在另一个连接中运行了查询。该@@SPID<>没有=。为我dm_db_task_space_usage报告0所有列的未完成交易的spid。想知道您是否需要在请求实际执行时查询它,而不是在打开的事务中使其空闲。
马丁·史密斯

@MartinSmith查询仅查找活动请求,而不是活动事务。因此,如果查询不再运行,那是对的,您可以使用事务DMV进行回溯。但是,如果它不再运行,则不一定能够找出导致它的查询-该同一个spid可能在当前事务中发出了其他几条语句。
亚伦·伯特兰

5

https://social.msdn.microsoft.com/Forums/sqlserver/zh-CN/17d9f862-b9ae-42de-ada0-4229f56712dc/tempdb-log-filling-cannot-find-how-or-what?forum=sqldatabaseengine

 SELECT tst.[session_id],
            s.[login_name] AS [Login Name],
            DB_NAME (tdt.database_id) AS [Database],
            tdt.[database_transaction_begin_time] AS [Begin Time],
            tdt.[database_transaction_log_record_count] AS [Log Records],
            tdt.[database_transaction_log_bytes_used] AS [Log Bytes Used],
            tdt.[database_transaction_log_bytes_reserved] AS [Log Bytes Rsvd],
            SUBSTRING(st.text, (r.statement_start_offset/2)+1,
            ((CASE r.statement_end_offset
                    WHEN -1 THEN DATALENGTH(st.text)
                    ELSE r.statement_end_offset
            END - r.statement_start_offset)/2) + 1) AS statement_text,
            st.[text] AS [Last T-SQL Text],
            qp.[query_plan] AS [Last Plan]
    FROM    sys.dm_tran_database_transactions tdt
            JOIN sys.dm_tran_session_transactions tst
                ON tst.[transaction_id] = tdt.[transaction_id]
            JOIN sys.[dm_exec_sessions] s
                ON s.[session_id] = tst.[session_id]
            JOIN sys.dm_exec_connections c
                ON c.[session_id] = tst.[session_id]
            LEFT OUTER JOIN sys.dm_exec_requests r
                ON r.[session_id] = tst.[session_id]
            CROSS APPLY sys.dm_exec_sql_text (c.[most_recent_sql_handle]) AS st
            OUTER APPLY sys.dm_exec_query_plan (r.[plan_handle]) AS qp
    WHERE   DB_NAME (tdt.database_id) = 'tempdb'
    ORDER BY [Log Bytes Used] DESC
GO

4

谢谢你的这篇文章,可能是同类文章中唯一的一篇。我的测试很简单,创建一个临时表,并确保在我运行本文中的任何查询时显示该表...只有一个或两个真正成功。我已将其更正以加入T-SQL,对其进行了优化以延长运行时间,并使其非常有用。让我知道我是否错过任何事情,但到目前为止,您已经获得了自动/循环脚本。它提供了一种通过使用下面的标准偏差(STDEV)查询来评估一段时间内哪个查询/ SPID是犯罪者的方法。

这每3分钟运行40次,因此需要2个小时。根据需要修改参数。

下面有一个WHERE> 50页过滤器,人们可能想清除一下,以防万一您有很多小桌子。否则,您将无法在下面看到它的细微差别。

请享用!

DECLARE @minutes_apart INT; SET @minutes_apart = 3
DECLARE @how_many_times INT; SET @how_many_times = 40
--DROP TABLE tempdb..TempDBUsage
--SELECT * FROM tempdb..TempDBUsage
--SELECT session_id, STDEV(pages) stdev_pages FROM tempdb..TempDBUsage GROUP BY session_id HAVING STDEV(pages) > 0 ORDER BY stdev_pages DESC

DECLARE @delay_string NVARCHAR(8); SET @delay_string = '00:' + RIGHT('0'+ISNULL(CAST(@minutes_apart AS NVARCHAR(2)), ''),2) + ':00'
DECLARE @counter INT; SET @counter = 1

SET NOCOUNT ON
if object_id('tempdb..TempDBUsage') is null
    begin
    CREATE TABLE tempdb..TempDBUsage (
        session_id INT, pages INT, num_reads INT, num_writes INT, login_time DATETIME, last_batch DATETIME,
        cpu INT, physical_io INT, hostname NVARCHAR(64), program_name NVARCHAR(128), text NVARCHAR (MAX)
    )
    end
else
    begin
        PRINT 'To view the results run this:'
        PRINT 'SELECT * FROM tempdb..TempDBUsage'
        PRINT 'OR'
        PRINT 'SELECT session_id, STDEV(pages) stdev_pages FROM tempdb..TempDBUsage GROUP BY session_id HAVING STDEV(pages) > 0 ORDER BY stdev_pages DESC'
        PRINT ''
        PRINT ''
        PRINT 'Otherwise manually drop the table by running the following, then re-run the script:'
        PRINT 'DROP TABLE tempdb..TempDBUsage'
        RETURN
    end
--GO
TRUNCATE TABLE tempdb..TempDBUsage
PRINT 'To view the results run this:'; PRINT 'SELECT * FROM tempdb..TempDBUsage'
PRINT 'OR'; PRINT 'SELECT session_id, STDEV(pages) stdev_pages FROM tempdb..TempDBUsage GROUP BY session_id HAVING STDEV(pages) > 0 ORDER BY stdev_pages DESC'
PRINT ''; PRINT ''

while @counter <= @how_many_times
begin
INSERT INTO tempdb..TempDBUsage (session_id,pages,num_reads,num_writes,login_time,last_batch,cpu,physical_io,hostname,program_name,text)
    SELECT PAGES.session_id, PAGES.pages, r.num_reads, r.num_writes, sp.login_time, sp.last_batch, sp.cpu, sp.physical_io, sp.hostname, sp.program_name, t.text
    FROM sys.dm_exec_connections AS r
    LEFT OUTER JOIN master.sys.sysprocesses AS sp on sp.spid=r.session_id
    OUTER APPLY sys.dm_exec_sql_text(r.most_recent_sql_handle) AS t
    LEFT OUTER JOIN (
        SELECT s.session_id, [pages] = SUM(s.user_objects_alloc_page_count + s.internal_objects_alloc_page_count) 
        FROM sys.dm_db_session_space_usage AS s
        GROUP BY s.session_id
        HAVING SUM(s.user_objects_alloc_page_count + s.internal_objects_alloc_page_count) > 0
    ) PAGES ON PAGES.session_id = r.session_id
    WHERE PAGES.session_id IS NOT NULL AND PAGES.pages > 50
    ORDER BY PAGES.pages DESC;
PRINT CONVERT(char(10), @counter) + ': Ran at: ' + CONVERT(char(30), GETDATE())
SET @counter = @counter + 1
waitfor delay @delay_string
end

将此与可接受的答案结合在一起是跟踪清除tempdb活动的便捷方法。即使关闭了SSMS,通过SQL Agent计划任务运行此命令也可以保持运行状态。感谢分享!
Lockszmith

1

不幸的是,tempDB日志无法通过查看正在运行的进程直接追溯到sessionID。

将tempDB日志文件缩小到将再次显着增长的程度。然后创建一个扩展事件以捕获日志增长。一旦它再次增长,您可以扩展扩展事件并查看包事件文件。打开文件,添加时间过滤器,文件类型过滤器(您不希望包含数据文件结果),然后在SSMS中按会话ID对其进行分组。这将帮助您在查找“分组依据”最多的会话ID时找到罪魁祸首。当然,您需要通过另一个进程或工具来收集会话ID中正在运行的内容。也许有人知道如何从query_hash列获取查询,并且会足够友善地发布解决方案。

扩展事件的结果:

在此处输入图片说明

创建扩展事件的脚本:

CREATE EVENT SESSION [tempdb_file_size_changed] ON SERVER ADD EVENT 
sqlserver.database_file_size_change(SET collect_database_name=(1)ACTION(sqlserver.client_app_name,sqlserver.client_hostname,sqlserver.is_system,sqlserver.query_hash,sqlserver.session_id,sqlserver.session_nt_username,sqlserver.sql_text,sqlserver.username) WHERE ([database_id]=(2))) ADD TARGETpackage0.event_file(SET filename=N'C:\ExtendedEvents\TempDBGrowth.xel',max_file_size=(100),max_rollover_files=(25)) WITH (MAX_MEMORY=4096 KB,EVENT_RETENTION_MODE=ALLOW_SINGLE_EVENT_LOSS,MAX_DISPATCH_LATENCY=1 SECONDS,MAX_EVENT_SIZE=0 KB,MEMORY_PARTITION_MODE=NONE,TRACK_CAUSALITY=OFF,STARTUP_STATE=ON)
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.