没有误报的概率集？

因此，Bloom过滤器非常酷-它们是支持成员资格检查的集，没有错误否定，但很少有错误肯定的机会。不过最近，我一直想要一种“布隆过滤器”，它可以保证相反的结果：没有误报，但可能有误报。

我的动机很简单：鉴于有大量要处理的项目（包含重复项），我们希望避免处理以前见过的项目。处理重复副本没有什么坏处，只是浪费时间。但是，如果我们忽略处理元素，那将是灾难性的。使用“反向布隆过滤器”，可以以很小的空间开销存储看到的项目，并通过测试集合中的成员资格来避免以高概率处理重复项。

但是我似乎找不到任何东西。我找到的最接近的是“ 修饰过的Bloom过滤器 ”，它可以使选定的误报以较高的误报率进行交易。但是，当我想删除所有误报时，我不知道其数据结构的性能如何。

有人看到过这样的东西吗？:)

一个答案是使用一个大的哈希表，当表填满后，开始替换其中的元素，而不是在其他地方查找（不存在）空插槽。您不会像使用Bloom过滤器那样获得固定的错误答案固定比率，但是总比没有好。我认为这是标准的，例如在国际象棋软件中，用于跟踪已经搜索过的位置。

这个问题的答案是“否”。要知道为什么，我们可以考虑一个非常极端的情况，以及常规的bloom过滤器与理论上称为“ glosha过滤器”的“ Bizzaro World” bloom过滤器如何工作。

Bloom过滤器的优点在于，您可以使用数据结构进行单方面测试（带有误报），以对错误的可能性和存储的项目数进行固定设置。项目本身的大小根本不重要。例如，如果我们设置了布隆过滤器，最多可存储1,000个项目，且错误率小于3％，那么我们可以存储整个Wikipedia语料库的1,000个略有不同的版本，每个版本中只更改一个字母，我们仍然得到我们想要的指标，数据结构将非常小（小于一千字节）。当然，计算这些哈希值将是一个挑战，但是原理仍然成立。

现在，考虑将相同的大量字符串存储在gloom过滤器中！现在我们只能有假阴性。因此，如果我们说“是的，那么整个百科全书的版本都在这个集合中”，那么我们对此必须绝对正确。这意味着散列将无济于事，因为总会有一些其他字符串散列为相同的值。唯一可以肯定地说的方法是存储整个字符串或相同长度的一些等效数据。我们总是不能存储它并说“ no”，但是最终错误率将赶上我们。我们所能做的最好的事情就是压缩，将结构的大小减小到存储的数据熵与所需精度之间的乘积。

因此，不幸的是不存在暗淡滤镜。缓存是唯一的解决方案，但实际上并不是Bloom过滤器的对立面，因为它的大小将与存储的信息量和过滤器的期望准确率的乘积成正比。当然，在许多实际场景中，大数据可以用ID表示，因此缓存仍然是可以接受的。但这与强大的Bloom filter根本不同。

您只需要一个缓存，但正在以一种奇怪的方式考虑它。

免责声明：我不是缓存专家，因此这可能是一个幼稚的想法，也可能是一个我从未听说过的已知想法。因此，如果我没有引用它的引用（如果存在），请原谅。如果有参考资料可以编辑帖子并添加，请通知我。（我怀疑它可能有参考，因为它是如此直观）。

$c$$c$

我使用了带有部分项目的AVL（有时是红黑色）树作为没有假阴性的过滤器。插入或查询树时，仅使用项目的前X个字节。因为数据结构的形式不是概率性的，所以不存在因位冲突而导致假阳性的风险。与缓存整个项目不同，此方法可为您提供可计算的最大空间。您可以通过考虑不同的前缀长度/树深度（与误报和空间成本相比）来调整误报率。

我认为可以证明上述数据结构不存在的下界。基本上，如果数据结构使用m位，则固定的位向量（输入的表示形式）最多可以对应一个计数参数设置的（（（un）+ n eps）\ choose（un））集。假设这个数字的2 ^ m倍必须至少（u \ choose n）（必须表示所有集合），我们得到一个下界，基本上与精确存储集合S非常接近。