布隆過濾器

2021-10-07 05:11:15 字數 1045 閱讀 4242

原理結論

應用

去重的問題

這時,布隆過濾器就可以使用到,它就是專門用來解決去重問題,它在起到去重的同時,在空間上還能節省90%

節省記憶體,判斷是否存在,大量資料過濾

本質:將記憶體中的資料轉換為bit進行判斷,轉換為大量的bit,bit越多匹配越精確

布隆過濾器可以理解為乙個不怎麼精確的set結構,當你使用它的contains方法來判斷某個物件是否存在時,它可能會誤判,但是過濾器也不是特別精確

redis官方提供的布隆過濾器到了redis4.0才正式登場。

布隆過濾器有兩個基本指令,bf.add新增元素,bf.exists查詢元素是否存在,它的用法和set集合的saddsissmemeber差不多。

redis其實還提供了自定義引數的布隆過濾器,需要我們在add之前使用bf.resever指令顯示的建立。bf.resever有三個引數,分別是:keyerror_rateintial_size,。錯誤率越低,需要的空間越大。intial_size引數表示預計放入的數量,當實際數量超出這個數值時,誤判率就會上公升

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...