有防布隆过滤器吗？

一个布隆过滤器能够有效地跟踪是否处理过程中已经遇到的各种值。当有许多数据项时，布隆过滤器可以节省散列表上的大量内存。与哈希表共享的Bloom筛选器的主要功能是，如果某项不是新项，则始终显示“ not new”，但将项标记为“ not new”的可能性不为零。即使是新的。

是否有行为相反的“抗布鲁姆过滤器”？

换句话说：是否存在一个有效的数据结构，如果某项是新项，它会显示“ new”，但对于某些非新项也可能会显示“ new”？

保留所有先前看到的项（例如，在排序的链表中）可以满足第一个要求，但可能会占用大量内存。考虑到第二个要求放宽，我希望这也是不必要的。

对于那些更喜欢正式对待的人，如果Bloom过滤器认为是新的，则写，否则，写，如果确实是新的，写，而否则。$b(x) = 1$$x$$b(x) = 0$$n(x) = 1$$x$$n(x) = 0$

然后 ; ； ; ，对于某些。$Pr[b(x) = 0 | n(x) = 0] = 1$$Pr[b(x) = 0 | n(x) = 1] = \alpha$$Pr[b(x) = 1 | n(x) = 0] = 0$$Pr[b(x) = 1 | n(x) = 1] = 1 - \alpha$$0 < \alpha < 1$

我在问：是否存在有效的数据结构，实现了函数且其值，因此 ; ; ; ？$b'$$0 < \beta < 1$$Pr[b'(x) = 0 | n(x) = 0] = \beta$$Pr[b'(x) = 0 | n(x) = 1] = 0$P - [R [ b '（X ）= 1 | n （x ）= 1 ] = $Pr[b'(x) = 1 | n(x) = 0] = 1 - \beta$$Pr[b'(x) = 1 | n(x) = 1] = 1$

编辑：似乎以前在StackExchange上已经问过这个问题，如/programming/635728和/cstheory/6596，其中包含“无法通过“可以花一些钱来完成”到“通过反转的值来做到这一点是微不足道的”。我还不清楚“正确”的答案是什么。什么是明确的是，某种类型的LRU缓存机制（如ILMARI Karonen建议的一个）的作品相当好，很容易实现，并且获得在运行我的代码所花费的时间减少了50％。$b$

遵循Patrick87的哈希概念，这是一种几乎可以满足您要求的实用构造—错误地将旧值误认为新值的可能性不为零，但可以轻易将其减小。

选择参数和；实际值可能是和。令为一个安全的密码哈希函数，产生（至少）位输出。k n = 128 k = 16 H n + $n$$k$$n = 128$$k = 16$$H$$n+k$

令为位比特串的数组。该数组使用总共位存储过滤器的状态。（该数组的初始化方式并不重要；我们可以用零或随机位填充它。）2 ķ Ñ Ñ 2 $a$$2^k$ $n$$n2^k$

• 到一个新的值添加到过滤器，计算，其中，表示第一比特和表示下列的比特。令。$x$i k j n H （x ）a i = $i \,\|\, j = H(x)$$i$$k$$j$$n$$H(x)$$a_{i} = j$

• 要测试是否已将值添加到过滤器中，请如上所述计算，然后检查。如果是，则返回true；否则，返回true。否则返回false。我$x'$a i ' = j $i' \,\|\, j' = H(x')$$a_{i'} = j'$

声明1：误报（=错误地声称已经看到新值）的概率为。通过增加，可以以适度的存储空间成本将其任意减小。特别是对于，该概率基本上可以忽略不计，实际上比由于硬件故障而导致误报的概率小得多。 Ñ Ñ ≥ $1/2^{n+k}$$n$$n \ge 128$

特别地，在已经检查了不同值并将其添加到过滤器之后，至少一个假阳性已经发生的概率为。例如，在和，以50％的概率获得假阳性所需的不同值的数量约为。（N 2 - N ）/ 2 n + k + 1 n = 128 k = 16 2 （n + k ）/ 2 = 2 $N$$(N^2-N) / 2^{n+k+1}$$n=128$$k=16$$2^{(n+k)/2} = 2^{72}$

声明2：假阴性（=先前误认为是新增加的值）的概率不大于，其中是添加到过滤器的不同值的数量（或更具体地说，是最近将测试的特定值添加到过滤器之后添加的不同值的数量）。$1-(1-2^{-k})^N \approx 1-\exp(-N/2^k) < N/2^k$$N$

附言 为了使“微不足道的小”成为现实，使用当前已知的技术通常认为 128位加密是坚不可摧的。从此方案中获得误报的可能性与某人在首次尝试中正确猜出您的128位秘密密钥一样。（对于和，实际上它的可能性比这少65,000倍。）n = 128 k = $n+k=128$$n=128$$k=16$

但是，如果那仍然让您感到不合理的紧张，您可以随时切换到；它将使您的存储需求增加一倍，但是我可以安全地打赌，只要您愿意说出一笔总和，就不会有人看到的误报 —假设哈希函数始终没有中断。n = 256$n=256$$n=256$

不，如果您想保证数据结构真的是新数据，那么就不可能拥有具有这些属性的高效数据结构（如果确实是新数据，则数据结构将说“新”（如果它实际上是新的；不允许出现假阴性）。任何此类数据结构都将需要保留所有数据以响应“不是新的”。有关正确的理由，请参阅pents90的cstheory答案。

相反，Bloom过滤器可以保证以高效的方式将数据结构说成“不是新的”（如果不是新的）。特别是，Bloom筛选器比存储所有数据更有效：每个单独的项可能很长，但是Bloom筛选器的大小与项数（而不是它们的总长度）成比例。您问题的任何数据结构都必须与数据的总长度（而不是数据项的数量）成比例。

哈希表呢？当您看到新项目时，请检查哈希表。如果该项目的现货为空，则返回“新”并添加该项目。否则，请检查该物品的位置是否被该物品占用。如果是这样，则返回“不是新的”。如果该地点被其他项目占用，则返回“新”并用新项目覆盖该地点。

如果您以前从未看过该项目的哈希，则肯定会始终正确获得“ New”。如果您只在看到同一项目时才看到该项目的哈希值，则肯定会始终正确获得“ Not New”。正确答案是“不是新的”时，唯一会得到“新”的信息是，如果看到项目A，然后看到项目B，然后又看到项目A，并且A和B都哈希到同一个东西。重要的是，您永远不会错误地获得“ Not New”。

如果项目的范围是有限的，那么可以：只需使用Bloom Bloom过滤器来记录哪些元素不在集合中，而不是在集合中。（即，使用布隆过滤器代表感兴趣的集合的补充。）

一个有用的地方是允许进行有限形式的删除。您保留两个Bloom过滤器。他们开始是空的。插入元素时，将它们插入到Bloom过滤器A中。如果以后要删除某个元素，则将该元素插入到Bloom过滤器B中。无法取消删除。若要进行查找，请先在Bloom过滤器A中查找。如果找不到匹配项，则永远不会插入该项目（概率为1）。如果找到匹配项，则可能已（或可能未）插入元素。在这种情况下，您将在Bloom筛选器B中进行查找。如果找不到匹配项，则该项目将不会被删除。如果在布隆过滤器B中确实找到匹配项，则该项目可能已插入然后删除。

这并不能真正回答您的问题，但是，在这种有限的情况下，bloom过滤器B恰好执行了您要寻找的“抗bloom过滤器”行为。

Real Bloom筛选器研究人员使用更有效的方式表示删除，请参阅Mike Mitzenmacher的出版物页面。

$v_i$

一个示例可能是ip地址，并且您想知道每次出现从未见过的情况。但这仍然是一个有限集合，因此您知道可以期望什么。

实际的解决方案很简单：

1. 将所有项目添加到计数布隆过滤器。
2. $\ge1$
3. 看到实际的新项目后，将其从过滤器中减去。

因此，您可能具有实际上是旧的但被识别为新的“误报”值。但是，对于新值，您将永远不会“不新鲜”，因为它的值仍将存在于所有插槽中，并且没有其他人可以将其取走。