通過乙個位元位來存乙個位址，占用記憶體很小
bloomfilter 會開闢乙個m位的bitarray(位陣列)，開始所有資料全部置 0 。當乙個元素過來時，能過多個雜湊函式（h1,h2,h3....）計算不同的在雜湊值，並通過雜湊值找到對應的bitarray下標處，將裡面的值 0 置為 1 。
python中使用布隆過濾器
#示例一python3.6 安裝
#需要先安裝bitarray
pip3 install bitarray-0.8.1-cp36-cp36m-win_amd64.whl（pybloom_live依賴這個包，需要先安裝）
#pip3 install pybloom_live
#示例二scalablebloomfilter 可以自動擴容
#bloomfilter 是定長的
大資料去重 Bitmap和布隆過濾器
場景描述 在某場景下有乙個使用者關係鏈，比如a關注了b，然後b關注了c，然後使用者b知道自己被誰關注，也知道他關注了誰。假如說將這個資訊放在統一的資料庫中，然後使用者查詢的時候每次去遍歷，那麼就會對資料庫造成非常大的負擔，而且在乙個億級使用者系統中這樣的時間延遲是不可接受的。這種情況下我們可以為每個...
bitMap和布隆過濾器基礎
1參考 2.應用場景 大量 億級 資料，不重複資料 static int size 2000000000 20億個int數字 static int arayy size 1 size 32 20億個int數字 static int ins newint arayy size 初始化容器 新增的動作 ...
布隆過濾器
布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡，一般想到...