Questions tagged «query-performance»

在某些情况下，需要进行非常大的查询才能将多个表及其中的子选择语句连接在一起以产生所需的结果。 我的问题是，我们应该考虑使用多个较小的查询，并通过多次查询数据库来将逻辑操作带入应用程序层，还是一次完成所有查询就更好了？ 例如，考虑以下查询： SELECT * FROM `users` WHERE `user_id` IN (SELECT f2.`friend_user_id` FROM `friends` AS f1 INNER JOIN `friends` AS f2 ON f1.`friend_user_id` = f2.`user_id` WHERE f2.`is_page` = 0 AND f1.`user_id` = "%1$d" AND f2.`friend_user_id` != "%1$d" AND f2.`friend_user_id` NOT IN (SELECT `friend_user_id` FROM `friends` WHERE `user_id` = "%1$d")) AND …

13 mysql  query-performance  join  scalability 

我在PostgreSQL 9.6查询计划上遇到麻烦。我的查询如下所示： SET role plain_user; SELECT properties.* FROM properties JOIN entries_properties ON properties.id = entries_properties.property_id JOIN structures ON structures.id = entries_properties.entry_id WHERE structures."STRUKTURBERICHT" != '' AND properties."COMPOSITION" LIKE 'Mo%' AND ( properties."NAME" LIKE '%VASP-ase-preopt%' OR properties."CALCULATOR_ID" IN (7,22,25) ) AND properties."TYPE_ID" IN (6) 我为上述表启用了行级安全性。 使用set enable_nestloop = True，查询计划器将运行嵌套循环，其总运行时间约为37秒：https : //explain.depesz.com/s/59BR …

13 postgresql  query-performance  join  postgresql-9.6  row-level-security 

我有一个查询，该查询在SQL Server 2012中运行800毫秒，在SQL Server 2014中运行约170秒。我认为我已将其范围缩小到Row Count Spool运营商的基数估计不佳。我已经读过一些关于假脱机操作符的信息（例如，here和here），但是仍然难以理解以下几点： 为什么此查询需要Row Count Spool运算符？我认为正确性不是必需的，那么它试图提供什么特定的优化？ 为什么SQL Server估计联接到Row Count Spool运算符会删除所有行？ 这是SQL Server 2014中的错误吗？如果是这样，我将提交Connect。但是我想先加深了解。 注意：LEFT JOIN为了在SQL Server 2012和SQL Server 2014中都能达到可接受的性能，我可以将查询重新编写为或向表中添加索引。因此，此问题更多地是关于深入了解此特定查询和计划的，而较少涉及如何用不同的措词查询。 慢查询 有关完整的测试脚本，请参见此Pastebin。这是我正在查看的特定测试查询： -- Prune any existing customers from the set of potential new customers -- This query is much slower than expected in SQL Server 2014 SELECT …

13 sql-server  query-performance  sql-server-2014  cardinality-estimates 

我station_logs在PostgreSQL 9.6数据库中有一个表： Column | Type | ---------------+-----------------------------+ id | bigint | bigserial station_id | integer | not null submitted_at | timestamp without time zone | level_sensor | double precision | Indexes: "station_logs_pkey" PRIMARY KEY, btree (id) "uniq_sid_sat" UNIQUE CONSTRAINT, btree (station_id, submitted_at) 我试图为每个获取level_sensor基于的最后一个值。大约有400个唯一值，每天每个大约2万行。submitted_atstation_idstation_idstation_id 创建索引之前： EXPLAIN ANALYZE SELECT DISTINCT ON(station_id) station_id, …

13 postgresql  query-performance  greatest-n-per-group  postgresql-9.6 

在我的应用程序中，我有一个查询，该查询在“文件”表中执行搜索。 表“ files”按“ f”。“ created”分区（请参阅表定义），客户端19有约2600万行（“ f”。” cid = 19）。 关键是，如果我执行以下查询： SELECT "f"."id" AS "FileId" , "f"."name" AS "FileName" , "f"."year" AS "Fileyear" , "f"."cid" AS "clientId" , "f"."created" AS "FileDate" , CASE WHEN ("vnVE0"."value" is not null AND "vnVE0"."value" != '') THEN CAST("vnVE0"."value" AS decimal(28,2)) ELSE 0 END AS "keywordValueCol0_numeric" …

12 query-performance  azure-sql-database 

我正在尝试查看是否存在一种诱使SQL Server对查询使用特定计划的方法。 1.环境 假设您有一些在不同进程之间共享的数据。因此，假设我们有一些实验结果需要很多空间。然后，对于每个过程，我们都知道要使用哪个年/月的实验结果。 if object_id('dbo.SharedData') is not null drop table SharedData create table dbo.SharedData ( experiment_year int, experiment_month int, rn int, calculated_number int, primary key (experiment_year, experiment_month, rn) ) go 现在，对于每个过程，我们都在表中保存了参数 if object_id('dbo.Params') is not null drop table dbo.Params create table dbo.Params ( session_id int, experiment_year int, experiment_month int, …

12 sql-server  query-performance  sql-server-2016  functions 

简单的数据库结构（用于在线论坛）： CREATE TABLE users ( id integer NOT NULL PRIMARY KEY, username text ); CREATE INDEX ON users (username); CREATE TABLE posts ( id integer NOT NULL PRIMARY KEY, thread_id integer NOT NULL REFERENCES threads (id), user_id integer NOT NULL REFERENCES users (id), date timestamp without time zone NOT NULL, …

12 postgresql  query-performance  postgresql-9.6 

我有一个查询，大约需要3个小时才能在我们的服务器上运行-而且没有利用并行处理。（中有约115万条记录dbo.Deidentified，其中有300条记录dbo.NamesMultiWord）。该服务器可以访问8个核心。 UPDATE dbo.Deidentified WITH (TABLOCK) SET IndexedXml = dbo.ReplaceMultiWord(IndexedXml), DE461 = dbo.ReplaceMultiWord(DE461), DE87 = dbo.ReplaceMultiWord(DE87), DE15 = dbo.ReplaceMultiWord(DE15) WHERE InProcess = 1; 并且ReplaceMultiword是定义为： SELECT @body = REPLACE(@body,Names,Replacement) FROM dbo.NamesMultiWord ORDER BY [WordLength] DESC RETURN @body --NVARCHAR(MAX) 是否要求ReplaceMultiword阻止制定并行计划？有没有办法重写它以允许并行性？ ReplaceMultiword 因为某些替代品是其他替代品的短版，所以它们以降序运行，我希望最长的替代品能够成功。 例如，可能有“乔治华盛顿大学”和“华盛顿大学”。如果首先是“华盛顿大学”比赛，那么“乔治”将被甩在后面。 从技术上讲，我可以使用CLR，但我不熟悉该如何使用。

12 sql-server  query-performance  sql-server-2016  parallelism 

我有一个查询，需要根据标量UDF的结果进行过滤。该查询必须作为单个语句发送（因此我不能将UDF结果分配给局部变量），并且不能使用TVF。我知道由标量UDF引起的性能问题，其中包括强制整个计划以串行方式运行，过多的内存授予，基数估计问题以及缺少内联。对于这个问题，请假设我需要使用标量UDF。 UDF本身的调用成本非常高，但是从理论上讲，查询可以由优化器以合理的方式实现，使得函数只需要计算一次即可。我为这个问题模拟了一个大大简化的例子。以下查询需要6152毫秒才能在我的计算机上执行： SELECT x1.ID FROM dbo.X_100_INTEGERS x1 WHERE x1.ID >= dbo.EXPENSIVE_UDF(); 查询计划中的过滤器运算符建议针对每行对该函数进行一次评估： DDL和数据准备： CREATE OR ALTER FUNCTION dbo.EXPENSIVE_UDF () RETURNS INT AS BEGIN DECLARE @tbl TABLE (VAL VARCHAR(5)); -- make the function expensive to call INSERT INTO @tbl SELECT [VALUE] FROM STRING_SPLIT(REPLICATE(CAST('Z ' AS VARCHAR(MAX)), 20000), ' '); RETURN 1; …

12 sql-server  query-performance  functions 

以下针对外部对象的查询大约需要5秒钟才能在320万行上执行： SELECT x."IncidentTypeCode", COUNT(x."IncidentTypeCode") FROM "IntterraNearRealTimeUnitReflexes300sForeign" x WHERE x."IncidentDateTime" >= '05/01/2016' GROUP BY x."IncidentTypeCode" ORDER BY 1; 当我在普通表上执行相同的查询时，它将在0.6秒内返回。执行计划完全不同： 普通表 Sort (cost=226861.20..226861.21 rows=4 width=4) (actual time=646.447..646.448 rows=7 loops=1) Sort Key: "IncidentTypeCode" Sort Method: quicksort Memory: 25kB -> HashAggregate (cost=226861.12..226861.16 rows=4 width=4) (actual time=646.433..646.434 rows=7 loops=1) Group Key: "IncidentTypeCode" -> Bitmap Heap …

12 postgresql  query-performance  postgresql-9.5  postgresql-fdw 

我有两组来自卫星数据的地球测量数据，每组都有时间字段（均值朱利安日期为mjd）和地理位置（GeoPoint，空间），并且我正在寻找两组数据之间的重合，以使它们的时间与阈值相匹配。 3小时（或0.125天），且彼此之间的距离不超过200公里。 我已经为表和空间表上的mjd字段都建立了索引。 当我刚刚加入时间限制时，数据库将在8秒内计算100,000个匹配项，并计算该时间内所有100,000个匹配项的距离。查询如下所示： select top 100000 h.Time, m.Time, h.GeoPoint.STDistance(m.GeoPoint)/1000.0 from L2V5.dbo.header h join L2.dbo.MLS_Header m on h.mjd between m.mjd-.125 and m.mjd+.125 option( table hint ( h, index(ix_MJD) ), table hint( m, index(ix_MJD) ) ) 执行的计划是： 排序后，有9条距离在200公里以下，因此有比赛。问题是，当我添加距离约束并改为运行它时， select top 10 h.Time, m.Time, h.GeoPoint.STDistance(m.GeoPoint)/1000.0 from L2V5.dbo.header h join L2.dbo.MLS_Header m on …

12 sql-server  index  query-performance  join  spatial 

目前，我正在比较两个包含唯一StoreKey/ProductKey组合的数据集。 第一个数据集具有StoreKey/ProductKey2012年1月开始至2014年5月结束之间的唯一销售组合（结果= 45万行）。第二个数据集具有独特的StoreKey/ProductKey组合，从2014年6月开始销售到今天（结果= 190K行）。 我正在寻找StoreKey/ProductKey第二组中的组合，但不在第一组中-即从6月初开始销售的新产品。 到目前为止，我已经将这两个数据集转储到了临时表中，在两个键上都为这两个表创建了索引，并使用该EXCEPT语句查找了唯一项。 比较这么大的数据集最有效的方法是什么？有没有更有效的方式进行这种大型比较？

12 sql-server  sql-server-2008-r2  query-performance  except 

作为我先前对Sharepoint网站进行性能故障的先前问题的补充，我想知道我是否可以对CXPACKET等待做点什么。 我知道下意识的解决方案是通过将MAXD​​OP设置为1来关闭所有并行性-听起来是个坏主意。但是另一个想法是在并行开始之前增加成本阈值。执行计划成本的默认值5相当低。 因此，我想知道是否存在已经写好的查询，该查询将为我找到执行计划成本最高的查询（我知道您可以找到执行时间最长的查询，依此类推-但是执行计划成本是否可在某处检索到，也可以），这还会告诉我是否已经并行执行了这样的查询。 是否有人手头有这样的脚本，或者可以将我指向相关DMV，DMF或其他系统目录视图的方向，以找出答案？

12 sql-server-2008  query-performance  performance-tuning  parallelism 

我很好奇为什么有GROUP BY子句的聚合查询比没有子句的查询运行得这么快。 例如，此查询将花费近10秒钟来运行 SELECT MIN(CreatedDate) FROM MyTable WHERE SomeIndexedValue = 1 虽然这个过程不到一秒钟 SELECT MIN(CreatedDate) FROM MyTable WHERE SomeIndexedValue = 1 GROUP BY CreatedDate CreatedDate在这种情况下只有一个，因此分组查询返回的结果与未分组查询相同。 我注意到两个查询的执行计划是不同的-第二个查询使用Parallelism，而第一个查询则没有。 如果SQL Server没有GROUP BY子句，则以不同的方式评估聚合查询是否正常？在不使用GROUP BY子句的情况下，我可以做些什么来提高第一查询的性能？ 编辑 我刚刚学会了可以将OPTION(querytraceon 8649)并行性的开销开销设置为0，这使查询使用某种并行性，并将运行时间减少到2秒，尽管我不知道使用此查询提示是否有任何弊端。 SELECT MIN(CreatedDate) FROM MyTable WHERE SomeIndexedValue = 1 OPTION(querytraceon 8649) 我仍然希望运行时间更短，因为查询是要在用户选择时填充一个值，因此理想情况下应该像分组查询一样是瞬时的。现在，我只是包装查询，但我知道这并不是理想的解决方案。 SELECT Min(CreatedDate) FROM ( SELECT Min(CreatedDate) as …

12 sql-server-2005  query-performance  aggregate  parallelism 

我们拥有庞大的生产数据库，其大小约为300GB。有什么方法可以提高删除查询的性能？目前，删除速度为每分钟1-10k，这对我们来说非常慢。

12 sql-server  query-performance