原理結論
應用
去重的問題這時,布隆過濾器就可以使用到,它就是專門用來解決去重問題,它在起到去重的同時,在空間上還能節省90%
節省記憶體,判斷是否存在,大量資料過濾
本質:將記憶體中的資料轉換為bit進行判斷,轉換為大量的bit,bit越多匹配越精確
布隆過濾器可以理解為乙個不怎麼精確的set
結構,當你使用它的contains
方法來判斷某個物件是否存在時,它可能會誤判,但是過濾器也不是特別精確redis官方提供的布隆過濾器到了布隆過濾器有兩個基本指令,redis4.0
才正式登場。bf.add
新增元素,bf.exists
查詢元素是否存在,它的用法和set
集合的sadd
和sissmemeber
差不多。redis其實還提供了自定義引數的布隆過濾器,需要我們在add
之前使用bf.resever
指令顯示的建立。bf.resever有三個引數,分別是:key
,error_rate
和intial_size
,。錯誤率越低,需要的空間越大。intial_size引數表示預計放入的數量,當實際數量超出這個數值時,誤判率就會上公升布隆過濾器
布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...
布隆過濾器
布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...
布隆過濾器
如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...