面試的時候我們經常會被問到，100億個url中有多少重複的，或者讓你設計乙個100億個url的黑名單。傳統使用hash去儲存，1個url算64bit，100億個我們需要320g的記憶體來處理，就需要各種分布式各種演算法來懟，對於公司來說是一筆不小的開銷而且很慢。
這個時候如果說允許有失誤，而且是「另可錯殺也不放過」的失誤準則，那麼布隆過濾器就是個不錯的選擇。
什麼是布隆過濾器
我們可以把布隆過濾器想成乙個陣列，根據你的需求來定義陣列型別，我們這裡用int型別
int
arr =
newint
[1000
];
當乙個url經過hash之後， 必定會得到乙個值，我們把這個值對應的bit位上的0改為1，叫做塗黑。
我們有k個hash函式，每個hash函式都會得到乙個值，每個值對應的bit位上面都要塗黑。
乙個url會塗黑k個位置，當再次拿到重複的url的時候，只要這k個位置上全都被塗黑過，我們就確定這個url肯定在黑名單裡面，只要有乙個hash沒有被塗黑，就判斷這個url不在黑名單裡
失誤率和記憶體所需如何計算
問題的關鍵就在如何確定大小和如何計算失誤率，記住三個公式可以搞定這個問題
m表示需要的記憶體大小，n表示樣本量，p表示預期失誤率。（100億資料量，萬分之一失誤率，需要22g左右的記憶體，也就是一台伺服器就能搞定百億級別的黑名單處理）
k表示需要設計多少個hash函式，n表示樣本量，m表示記憶體，向上取整，經典個數是13個
有預期失誤率，我們需要得出真實失誤率靠下面這個公式，k表示有多少個hash函式，m表示記憶體，n表示樣本量。
布隆過濾器
布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡，一般想到...
布隆過濾器
布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡，一般想到的是將所有元素儲存起來，然後通過比較確定。鍊錶，樹等等資料結構都是這種思路.但是隨著集合中元素的增加，我們需要的儲存空間越來越大，檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表，hash tabl...
布隆過濾器
如果想判斷乙個元素是不是在乙個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表，hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加，我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...