布隆过滤器

布隆过滤器是一个快速过滤数据的工具，pcrawler爬虫程序使用布隆过滤器主要是做爬虫去重的策略， 通过布隆过滤器可以大大减少内存消耗，本来项目使用list来去重，但是内存消耗太大，随着爬虫程序的 运行，会导致机器内存消耗过大，最终导致内存溢出。使用布隆过滤器大大减少了内存消耗