資料過濾在很多場景都會應用到，特別是在大資料環境下。在資料量很大的場景實現過濾或者全域性去重，需要儲存的資料量和計算代價是非常龐大的。很多小夥伴第一念頭肯定會想到布隆過濾器，有一定的精度損失，但是儲存效能和計算效能可以達到幾何級別的提公升。很多第三方框架也實現了相應的功能，比如hbase框架實現的布隆過濾器效能是非常的棒，redis也可以實現相應的功能。這些需要借助於第三方框架，需要維護第三方框架。如果公司沒有部署相應架構，單獨為使用布隆過濾器部署一套集群，代價還是非常大的。
我們在做流式計算時需要實現資料小時級別去重和天級別資料去重，初始功能版本使用的是基於redis實現的布隆過濾器。效能也非常的好，三個節點的redis集群（三主三從，主從交叉策略）效能可以達到每秒十幾萬的處理效能。在後期的使用中主要瓶頸就在redis的吞吐量的效能上。一直想在這塊做一定的效能優化。
後來，發現spark官方封裝了基於dataframe的布隆過濾器，使用起來相當方便。效能不再受制於第三方框架的吞吐量限制，依賴於spark的並行資源。可以減少架構設計的複雜度，提高可維護性。在流式計算應用中可以將布隆過濾器做成driver級別的全域性變數，在batch結束更新布隆過濾器。如果考慮容錯，可以將布隆過濾器資料定期持久化到磁碟（hdfs/redis)。
直接上**，看一下使用方法
val bf = df.stat.bloomfilter("dd",datalen,0.01)
val rightnum = rdd.map(x=>(x.toint,bf.mightcontainstring(x)))
布隆過濾器
布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡，一般想到...
布隆過濾器
布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡，一般想到的是將所有元素儲存起來，然後通過比較確定。鍊錶，樹等等資料結構都是這種思路.但是隨著集合中元素的增加，我們需要的儲存空間越來越大，檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表，hash tabl...
布隆過濾器
如果想判斷乙個元素是不是在乙個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表，hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加，我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...