有效地删除重复项并降低内存开销

我想以一种只需要存储结果集的方式有效地过滤重复项的整数列表。

一种可见的方式：

我们有一个整数范围其中大（例如） $S = \{1, \dots{}, N\}$ $N$ $2^{40}$
我们有一个函数，据说它有很多碰撞（图像均匀地分布在） $f : S \to S$ $S$
然后，我们需要存储，即 $f[S]$ $\{f(x) | x \in S\}$

我对有一个非常准确的（概率性）估计。是，因此可以预先分配数据结构（例如）。 $|f[S]|$ $|f[S]| \approx 2^{30}$

我有一些想法，但是我不确定什么是最好的方法：

由于输入集不适合内存，因此无法使用位集。
哈希表，但是（1）它需要一些内存开销，例如 150％（2）建表时必须探索该表，由于内存开销，这需要额外的时间。 $|f[S]|$
“即时”排序，最好具有复杂度（非比较排序）。关于这一点，我不确定bucket sort和flashsort之间的主要区别是什么。 $O(N)$
一个带有二进制搜索树的简单数组，但这需要时间。 $O(N \log |f[S]|)$
也许使用布隆过滤器或类似的数据结构在缓解问题（假阳性）方面可能很有用。

计算器上的一些问题似乎有了这样的东西来解决（/programming/12240997/sorting-array-in-on-run-time，/programming/3951547/java -array-finding-duplicates），但似乎没有一个符合我的要求。

algorithms data-structures sorting

— doc
source

您是否需要枚举f [S]（无论它是什么），还是能够快速判断其中是否包含x？

— 吉尔（Gilles）“所以，别再邪恶了”

@吉尔斯：我相信，由于在f [S]中找不到明显的结构，因此这两个解决方案是等效的。

— doc 2012年

您的电话号码不加。大小为的域上的随机函数的期望图像大约为。另一个问题是，除非您拥有一台超级计算机或大型集群，否则通过将花费很长时间。

N

$N$

(1 - 1 / e) N

$(1-1/e)N$

2^{56}

$2^{56}$

— Yuval Filmus 2012年

二进制搜索树的时间为，实际上可能接近或可能不接近，但仍然更准确。

O (N \log | f [S] |)

$O(N \log |f[S]|)$

O (N \log N)

$O(N\log N)$

— jmad 2012年

使用，线性时间算法也不会令人望而却步吗？（根据我的计算，即使您在1纳秒内考虑一个元素，也要花2年的时间！）。

N \sim 2^{56}

$N \sim 2^{56}$

S

$S$

— Aryabhata 2012年

为什么不串连？

我们的想法是为存储正整数所能表述由以阵列位的表示的值的范围条目：条目，，表示范围。对于任何我们可以写成 $n = k+m$ $A$ $2^k$ $A[y]$ $y \ge 0$ $[2^m y, 2^m(y+1)-1]$ $1 \le x \lt 2^n$ 其中有位，有位。尝试将（不是！）存储在位置： $x = 2^m y + z$ $y$ $k$ $z$ $m$ $z$ $x$ $y$

当，什么也不做：是重复项。 $A[y]=z$ $x$
当未初始化时，将存储在。 $A[y]$ $z$ $A[y]$
否则，将索引存储到一个单独的数组中，该数组用于将链表中的（在发生碰撞）链接起来。您将必须线性搜索开头的列表，并根据搜索的内容，可能将插入列表中。 $z$ $y$ $A[y]$ $z$

最后，通过遍历的初始化项并仅连接两个位串，就很容易恢复，在位置处找到的每个（直接或在其中引用的链中）重新组合成原始的值。 $f(S)$ $A$ $z$ $y$ $x = 2^m y + z$

当分布接近均匀并且超过，将不会有太多的链式连接（可以用常规方法进行评估），并且链式连接往往会很短。当分布不均匀时，该算法仍然有效，但是可以达到二次定时。如果有可能，请使用比链条更有效的东西（并为存储付出一些开销）。 $2^k$ $N$

所需的存储是至多对位和为链（假定比特）。这正是以存储所需的空间的值每个比特。如果您对均匀性有信心，则可以为链分配不足的存储空间。如果可能出现不均匀性，则可能要增加并充分主张链存储。 $2^n$ $A$ $2^{2k}$ $m \le k$ $2^k$ $n$ $k$

考虑该解决方案的另一种方法是，它是具有特别好的哈希函数的哈希表（采用最高有效位），因此，我们只需要将最低有效位存储在桌子。 $k$ $m=n-k$

有多种方法可以用的存储空间来覆盖链的存储空间，但这似乎并不值得，因为它不会节省太多空间（假设比小得多），并且会使代码难以开发，调试和维护。 $A$ $m$ $k$

— ub
source

我认为倒数第二段是此处的中心部分，应该放在顶部（根据想法）。我不知道“ bin and chain”一词（尽管在阅读这篇文章后是有道理的）。这个想法可以扩展到尝试。

— 拉斐尔

因此，这是分布较差的输入的

。我不知道这有多有效。

Θ (n^{2})

$\Theta(n^2)$

— einpoklum

@einpoklum此答案明确描述了解决方案有效的条件。

— whuber