Questions tagged «hashing»

作为ETL流程的一部分，我们将暂存中的行与报表数据库进行比较，以找出自从上次加载数据以来是否实际更改了任何列。 比较是基于表的唯一键和所有其他列的某种哈希值。我们目前使用HASHBYTES该SHA2_256算法，并且发现如果许多并发工作线程都在调用，则该算法无法在大型服务器上扩展HASHBYTES。 在96台核心服务器上进行测试时，以每秒哈希数衡量的吞吐量不会增加超过16个并发线程。我通过将并发MAXDOP 8查询数从1 更改为12进行测试。测试MAXDOP 1显示了相同的可伸缩性瓶颈。 作为一种解决方法，我想尝试一个SQL CLR解决方案。这是我尝试陈述要求的尝试： 该功能必须能够参与并行查询 函数必须是确定性的 该函数必须接受NVARCHAR或VARBINARY字符串的输入（所有相关列都串联在一起） 字符串的典型输入大小为100-20000个字符。20000不是最大值 哈希冲突的机会应大致等于或优于MD5算法。CHECKSUM对我们不起作用，因为有太多的碰撞。 该功能必须在大型服务器上很好地扩展（随着线程数量的增加，每个线程的吞吐量不应显着降低） 对于Application Reasons™，假定我无法保存报表的哈希值。这是一个不支持触发器或计算列的CCI（还有其他我不想讨论的问题）。 HASHBYTES使用SQL CLR函数进行仿真的可扩展方式是什么？我的目标可以表示为在大型服务器上每秒获得尽可能多的哈希，因此性能也很重要。我对CLR感到很糟糕，所以我不知道该如何完成。如果它激励任何人回答，我计划在可能的情况下尽快为这个问题添加赏金。下面是一个示例查询，它非常粗略地说明了用例： DROP TABLE IF EXISTS #CHANGED_IDS; SELECT stg.ID INTO #CHANGED_IDS FROM ( SELECT ID, CAST( HASHBYTES ('SHA2_256', CAST(FK1 AS NVARCHAR(19)) + CAST(FK2 AS NVARCHAR(19)) + CAST(FK3 AS NVARCHAR(19)) + CAST(FK4 AS NVARCHAR(19)) + …

29 sql-server  sql-server-2016  etl  sql-clr  hashing 

我们需要创建nvarchar数据的哈希值以进行比较。T-SQL中有多种可用的哈希算法，但是在这种情况下，哪一种是最好的选择？ 我们要确保两个不同的nvarchar值具有重复哈希值的风险最小。根据我对互联网的研究，MD5似乎是最好的。那正确吗？MSDN向我们（下面的链接）介绍了可用的算法，但是没有说明在哪种条件下使用哪种算法？ 哈希（Transact-SQL） 我们需要在两个nvarchar（max）列上联接两个表。可以想象，查询需要一段时间才能执行。我们认为最好保留每个nvarchar（max）数据的哈希值，然后对哈希值进行联接，而不是blob的nvarchar（max）值。问题是哪种哈希算法提供了唯一性，因此我们不会遇到为多个nvarchar（max）拥有一个哈希值的风险。

20 sql-server  sql-server-2008-r2  t-sql  hashing 

我想在redis中创建这种类型的结构：（基本上是json数据） { "id": "0001", "name":"widget ABC", "model": "model123", "service":"standard", "admin_password": 82616416, "r1": { "extid":"50000", "password":"test123", }, "r2": { "ext":"30000", "password":"test123", }, } 到目前为止，我已经尝试过： 我试图创建没有“子”哈希的哈希，只是为了确保我掌握了基础知识。所以这是我从redis-cli开始的内容： HMSET widget:1 id 0001 name 'widget ABC' model 'model123' service standard admin_password 82616416 HMSET widget:2 id 0002 name 'widget ABC' model 'model123' service standard admin_password 12341234 …

12 nosql  redis  hashing 

聊天讨论中出现的一个问题： 我知道哈希联接救助在内部切换为某种嵌套循环。 SQL Server对哈希聚合救助有什么作用（如果可能发生的话）？

10 sql-server  execution-plan  aggregate  database-internals  hashing 

在SQL Server的幕后，Except运算符如何工作的内部算法是什么？是否在内部对每行进行哈希处理并进行比较？ David Lozinksi进行了一项研究，即SQL：在尚不存在的新记录中插入新记录的最快方法。与下面的结果紧密相关。 假设：我认为Left join最快，因为它只比较1列，而Except花费的时间最长，因为它必须比较All列。 有了这些结果，现在我们的思维是“除了自动且内部对每一行进行哈希处理？”。我看了看执行计划，它确实利用了一些哈希。 背景：我们的团队正在比较两个堆表。表A将不在表B中的行插入到表B中。 堆表（来自旧文本文件系统）没有主键/向导/标识符。一些表具有重复的行，因此我们找到了每一行的哈希，并删除了重复项，并创建了主键标识符。 1）首先，我们运行一个except语句，排除（hash列） select * from TableA Except Select * from TableB, 2）然后我们在HashRowId的两个表之间进行左联接比较 select * FROM dbo.TableA A left join dbo.TableB B on A.RowHash = B.RowHash where B.Hash is null 令人惊讶的是，例外声明插入是最快的。 结果实际上与David Lozinksi的测试结果很接近

10 sql-server  sql-server-2016  performance-tuning  hashing  except 

PostgreSQL 9.2 我想明白之间的差别Hash Semi Join，只是Hash Join。 这是两个查询： 一世 EXPLAIN ANALYZE SELECT * FROM orders WHERE customerid IN (SELECT customerid FROM customers WHERE state='MD'); Hash Semi Join (cost=740.34..994.61 rows=249 width=30) (actual time=2.684..4.520 rows=120 loops=1) Hash Cond: (orders.customerid = customers.customerid) -> Seq Scan on orders (cost=0.00..220.00 rows=12000 width=30) (actual time=0.004..0.743 rows=12000 loops=1) …

8 postgresql  join  hashing 

对于支持哈希索引的每个Postgres版本，都有警告或注意，至少在8.3版之前，哈希索引比btree索引“相似或更慢”或“不更好” 。从文档： 版本7.2： 注意：由于哈希索引的用途有限，因此通常应优先选择B树索引而不是哈希索引。我们没有足够的证据表明即使进行=比较，哈希索引实际上也比B树更快。而且，散列索引需要更粗的锁。参见第9.7节。 版本7.3（以及最高8.2）： 注意：测试表明PostgreSQL的哈希索引与 B树索引相似或比B树索引慢，并且哈希索引的索引大小和构建时间要差得多。在高并发下，哈希索引的性能也很差。由于这些原因，不鼓励使用哈希索引。 版本8.3： 注意：测试表明PostgreSQL的哈希索引的性能并不比B树索引好，并且哈希索引的索引大小和构建时间要差得多。此外，哈希索引操作目前还没有进行WAL记录，因此在数据库崩溃后可能需要使用REINDEX重建哈希索引。由于这些原因，目前不鼓励使用哈希索引。 他们声称在此版本8.0线程中，从未发现哈希索引实际上比btree更快的情况。 即使是在9.2版中，根据该博客文章（2016年3月14日）： AndréBarbosa撰写的Postgres哈希索引，除编写实际索引外，其他任何方面的性能提升也几乎没有。 我的问题是那怎么可能？ 根据定义，哈希索引是一个O(1)操作，其中btree是一个O(log n)操作。那么，O(1)查找比查找正确的分支然后查找正确的记录要慢（或什至类似于）的可能性如何呢？ 我想知道索引理论到底有什么可能！

8 postgresql  index  btree  hashing