一、先談雜湊
1.1原理
hash （雜湊，或者雜湊）函式在計算機領域，尤其是資料快速查詢領域，加密領域用的極廣。
其作用是將乙個大的資料集對映到乙個小的資料集上面（這些小的資料集叫做雜湊值，或者雜湊值）。
1.2乙個典型的hash函式示意圖
1.3特點
如果兩個雜湊值是不相同的（根據同一函式），那麼這兩個雜湊值的原始輸入也是不相同的。
雜湊函式的輸入和輸出不是唯一對應關係的，如果兩個雜湊值相同，兩個輸入值很可能是相同的。但也可能不同，這種情況稱為 「雜湊碰撞」（或者 「雜湊衝突」）。
1.4缺點
引用吳軍博士的《數學之美》中所言，雜湊表的空間效率還是不夠高。如果用雜湊表儲存一億個垃圾郵件位址，每個email位址 對應 8bytes, 而雜湊表的儲存效率一般只有50%，因此乙個email位址需要占用16bytes. 因此一億個email位址占用1.6gb，如果儲存幾十億個email address則需要上百gb的記憶體。除非是超級計算機，一般的伺服器是無法儲存的。
二、布隆過濾器
2.1原理
如果想判斷乙個元素是不是在乙個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。鍊錶、樹、雜湊表（又叫雜湊表，hash table）等等資料結構都是這種思路。但是隨著集合中元素的增加，我們需要的儲存空間越來越大。同時檢索速度也越來越慢。
bloom filter 是一種空間效率很高的隨機資料結構，bloom filter 可以看做是對 bit-map 的擴充套件, 它的原理是：
當乙個元素被加入集合時，通過 k 個 hash 函式將這個元素對映成乙個位陣列（bit array）中的 k 個點，把它們置為 1。檢索時，我們只要看看這些點是不是都是 1 就（大約）知道集合中有沒有它了：
如果這些點有任何乙個 0，則被檢索元素一定不在；
如果都是 1，則被檢索元素很可能在。
2.2優點
它的優點是空間效率和查詢時間都遠遠超過一般的演算法，布隆過濾器儲存空間和插入 / 查詢時間都是常數o(k)。另外, 雜湊函式相互之間沒有關係，方便由硬體並行實現。布隆過濾器不需要儲存元素本身，在某些對保密要求非常嚴格的場合有優勢
2.3缺點
但是布隆過濾器的缺點和優點一樣明顯。誤算率是其中之一。隨著存入的元素數量增加，誤算率隨之增加。但是如果元素數量太少，則使用雜湊表足矣。
(誤判補救方法是：再建立乙個小的白名單，儲存那些可能被誤判的資訊。)
另外，一般情況下不能從布隆過濾器中刪除元素. 我們很容易想到把位陣列變成整數陣列，每插入乙個元素相應的計數器加 1, 這樣刪除元素時將計數器減掉就可以了。然而要保證安全地刪除元素並非如此簡單。首先我們必須保證刪除的元素的確在布隆過濾器裡面. 這一點單憑這個過濾器是無法保證的。另外計數器迴繞也會造成問題。
2.4布隆過濾器的使用場景
google chrome 瀏覽器使用bloom filter識別惡意鏈結
檢測垃圾郵件
假定我們儲存一億個電子郵件位址，我們先建立乙個十六億二進位制（位元），即兩億位元組的向量，然後將這十六億個二進位制全部設定為零。對於每乙個電子郵件位址 x，我們用八個不同的隨機數產生器（f1,f2, ...,f8） 產生八個資訊指紋（f1, f2, ..., f8）。再用乙個隨機數產生器 g 把這八個資訊指紋對映到 1 到十六億中的八個自然數 g1, g2, ...,g8。現在我們把這八個位置的二進位制全部設定為一。當我們對這一億個 email 位址都進行這樣的處理後。乙個針對這些 email 位址的布隆過濾器就建成了。
a,b 兩個檔案，各存放 50 億條 url，每條 url 占用 64 位元組，記憶體限制是 4g，讓你找出 a,b 檔案共同的 url。如果是三個乃至 n 個檔案呢？
分析 ：如果允許有一定的錯誤率，可以使用 bloom filter，4g 記憶體大概可以表示 340 億 bit。將其中乙個檔案中的 url 使用 bloom filter 對映為這 340 億 bit，然後挨個讀取另外乙個檔案的 url，檢查是否與 bloom filter，如果是，那麼該 url 應該是共同的 url（注意會有一定的錯誤率）。」
布隆過濾器
布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法，缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡，一般想到...
布隆過濾器
布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡，一般想到的是將所有元素儲存起來，然後通過比較確定。鍊錶，樹等等資料結構都是這種思路.但是隨著集合中元素的增加，我們需要的儲存空間越來越大，檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表，hash tabl...
布隆過濾器
如果想判斷乙個元素是不是在乙個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表，hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加，我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...