集合相交的数据结构？

21

是否有任何数据结构可以维护（有限基础集的）集合的集合，从而支持以下操作？任何亚线性运行时间将不胜感激？

初始化一个空集。
将元素添加到集合中。
给定两个集合，报告它们是否相交。

data-structures sets

— 黄大为
source

1

这是一个非常笼统的问题，因为任何数据结构都可以在有限域中支持这些操作。您能具体一点吗？例如。您需要什么复杂性，为进行固定操作等您愿意牺牲什么？

— Bartosz Przybylski 2013年

13

如果每个集合都维护着其他集合的记录，并且您总共有 $s > 0$ 集合，则可以轻松地将集合的任何数据结构（例如，二进制搜索树等）转换为可以检索的集合时间两组交集的一个元素 $O(\log s)$ 。

每个集合应具有某些完全有序集合的唯一标识符。如果您明确命名集 $S_1, S_2, \ldots$ 那么标识可能只是索引。
您应该对集合进行“注册”；维护您定义的所有集合的集合的数据结构。注册表应实现为搜索树数据结构，以允许轻松检索（例如， 如果您要删除集合）和线性遍历集合。
每个集合还维护其他每个集合的“索引” ，而不是它们的副本，而是维护由其他集合的标签索引的数据结构。该指数将被用于保持，对于每组，所有的元件的二叉查找树 $S_j$ $S_k$ 。（两组和共享该搜索树的一个副本。） $S_j \cap S_k$ $S_j$ $S_k$

初始化

一组初始化由操作，以初始化它的元素的树，作为初始化操作（从注册表复制）对于该组的索引，和遍历注册表时将添加到其他每个集的索引中的操作 $T = \varnothing$ $O(1)$ $O(s)$ $T$ $O(s \log s)$ $T$ 。在指数，我们创建表示搜索树 $S_j$ $T$ $T \cap S_j = \varnothing$ 对于其他集 ; 我们为的索引复制相同的指针。 $S_j$ $S_j$

将元素添加到集合 $T$

加入一些所设定的需要时间照常，其中。我们还测试了在其他每个集合隶属关系，这需要花费时间其中 $x \in V$ $T$ $O(\log n_T)$ $n_T = |T|$ $x$ $S_1, S_2, \ldots$

O (\log n_{S_{1}} + \log n_{S_{2}} + \dots) \subseteq O (s \log n),

$O(\log n_{S_1} + \log n_{S_2} + \cdots) \subseteq O(s \log n) ,$

n = | V |

$n = |V|$ 是宇宙的大小（或最大集合

），而

是注册表中集合的数目。对于每一组

使得

，还插入

成用于该集合中的索引

。对于每个这样的集合

，这需要

时间来查找

S_{j}

$S_j$

s

$s$

S_{j}

$S_j$

x \in S_{j}

$x \in S_j$

x

$x$

S_{j} \cap T

$S_j \cap T$

S_{j}

$S_j$

O (\log s + \log n_{T})

$O(\log s + \log n_T)$

S_{j}

$S_j$ 中的索引

并插入

在

;在所有套

T

$T$

x

$x$

S_{j} \cap T

$S_j \cap T$

这需要时间

。如果我们假设集合数

小于宇宙

的大小（也就是说，如果我们假设

S_{1}, S_{2}, \dots

$S_1, S_2, \ldots$

O (s \log s + s \log n_{T})

$O(s \log s + s \log n_T)$

S_{j}

$S_j$

V

$V$

），用于插入元件的总时间然后

s ≪ n

$s \ll n$

O (s \log n)

$O(s \log n)$ 。

如果你不允许在台重复的，我们可以节省时间的情况下已经放弃了其他组成员检测和插入。的情况下为“插入” $x \in S$ $T$ $x$ 已经存在仅花费时间。 $O(\log n_T)$

交叉口测试

精确地维护每个集合的索引，以便快速评估两个集合和相交。对于集合，只需检查其索引以获取集合，我们不仅可以在时间确定是否与相交。 $S_j$ $S_k$ $S_j$ $S_k$ $O(\log s)$ $S_j$ $S_k$ ，而且还可以检索包含整个集合的二叉树。。 $S_j \cap S_k$

元素去除

要删除一个元素从一组，我们不仅从搜索树中删除它本身，而是来自各个路口的的套在其索引。这需要时间，其中。 $x$ $T$ $T$ $S_j \cap T$ $S_j$ $O(s \log n_T)$ $n_T = |T|$

集合删除

由于搜索注册表的开销，如果您有很多集合，则可能需要在不再需要它们时删除它们。通过遍历整个注册表，我们可以删除从所有其他组的索引及时中，删去表示搜索树的成本主导其他每个组的，其中。 $S$ $S_j$ $O(sn_T)$ $S_j \cap T$ $S_j$ $n_T = |T|$

备注

如果您希望仅实现恒定数量的集合，那么上述运行时间将减少为：

初始化： $O(1)$
元素插入： $O(\log n)$
相交测试（和相交的检索）： $O(1)$
元素去除： $O(\log n_T)$
集删除： $O(n_S)$

其中是注册表中最大集合的大小，对于您正在操作的集合 $n$ $n_T = |T|$ $T$

如果您希望将临时设置为每个新集合到与相交的其他集合的索引中 $O(|V|)$ 集，其中是您的Universe，则希望这些运算在亚线性时间内运行，则可能需要其他数据结构。但是，如果您有几对您知道永远不会进行测试的交集，则可以减少这些集的索引大小（不包括要测试其交集的任何集合），或者使用多个注册表（每个可能要测试其交集的集合的集合之一。实际上，只有在您希望集中控制以确保每对集合在索引中具有彼此的记录时，注册表才有用：在某些情况下，初始化集合，仅记录即可在某些情况下可行 $V$ $S$ $T$ 你感兴趣的内容。 $S$

— 尼尔·德·波德拉普（Niel de Beaudrap）
source

6

即使在最坏的情况下，也有一些数据结构可让您在不到线性时间内完成此操作。请参阅http://research.microsoft.com/pubs/173795/vldb11intersection.pdf（以及其中的论文参考）。

如果您的两个集合S和T的交集较大，并且有一个S字典，那么按随机顺序查找T的元素应该很快就会为您提供一个公共元素。最困难的情况是交点大小为0或1。

— 拉斯穆斯·帕格（Rasmus Pagh）
source

3

通常，您选择的编程语言将支持具有唯一元素的数据结构。通常，有三种流行的方法：树，哈希和位掩码。树元素必须具有可比性，哈希元素必须是可哈希的，而位掩码元素必须具有某种转换为整数的方式。

树集将支持在O（log n）中插入和在最坏情况O（n log n）中进行交集测试。

哈希集将支持在摊销O（1 * h）中插入，其中“ h”是哈希算法的运行时间，并支持最坏情况O（n）中的交集测试。

位掩码集通常不像树集和哈希集那样使用。

— 卡尔·达姆加德·阿斯穆森
source

2

这将是一个不错的Stack Overflow答案，但是在这里我们想了解它如何工作以及为什么起作用的一些细节。

— 拉斐尔

3

如果您的情况允许错误的肯定答案，那么我将使用具有单个哈希函数的Bloom Filter。

您可以如下实现：

初始化一个空集

=位的位阵列，所有位都设置为0。（应根据可能的元素数选择） $B$ $n$ $n$

将元素添加到集合中。

$B[hash(element)]=1$

给定两个集合（B1，B2），报告它们是否相交。

检查 $B1$ $AND$ $B2$ $=$ $0$

复杂

如果不太大，则所有操作均为。 $n$ $O(1)$

— 格里莎·温特劳布
source