性能和误判率

布隆过滤器优化内存占用过大问题_布隆过滤器数据量太大怎么办-CSDN博客

文章浏览阅读3.8k次，点赞3次，收藏6次。背景在平时开发需求中，用set集合在内存中做去重操作的场景经常会遇到，遇上大数据量的话，还用set集合来去重，会有内存不够用的风险。这时候就得换个数据结构来优化了，最先想到的是用字节来表示一个数据，来大大减少内存的使用。如redis的Bitmap、java工具类BitSet等。但去重的目标不一定都是数字，这时候可以使用布隆过滤器。简介布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。_布隆过滤器数据量太大怎么办

https://blog.csdn.net/seasonLai/article/details/120083299

1、误判率测试

一百万随机手机号测试

一千万随机手机号测试

2、性能测试

3、测试总结

1）使用方面

• guava的布隆过滤器api比较友好，只需要传入预估数据量、误判率，这些都是开发人员很容易评估的。

• hutool的布隆过滤器api默认构建方法比较难衡量怎么用，虽然可以优化，但算法不熟的话，很难下手。

2）内存、误判率方面

• guava的布隆过滤器在预估数据量准确的情况下，误判率可以很低，且内存占用相对较小。

• hutool的布隆过滤器（默认构造出来的实例）随着设置的bitmap大小越大，误判率就越低，但相对guava的来说，内存、误判率方面guava表现更佳。

3）速度、性能方面

• guava的布隆过滤器插入数据耗时相对hutool的耗时较多，可能是hutool默认5个hash函数的原因，而guava的hash函数个数是会根据数量和误判率来变化的。

4）最终总结