bitMap和布隆過濾器基礎

2021-10-12 05:39:51 字數 1359 閱讀 4663

1參考:

2.應用場景

大量(億級)資料,不重複資料

static

int size =

2000000000

;//20億個int數字

static

int arayy_size =

1+ size /32;

//20億個int數字

static

int[

] ins =

newint

[arayy_size]

;//初始化容器

新增的動作:

public

static

void

optimizeadd()

}public

static

void

resize

(int newlength)

}大量資料排序

/*********************************************用法舉例*****************************************8*/

/** * @author: 01398017

* @description: 排序

* @datetime: 2020/12/10

* @params:

* @return

*/public

static

void

order

(int

ins)

arr[index]|=(

1<< ins[i]);

}//出

//遍歷元素

int resultindex =0;

for(

int i =

0; i < arr.length; i++)}

}}

4.布隆過濾器原理:

m個元素經過k次hash後放入n的容器中,每次進來的數字經過同樣k次hash後如果對應bit位置都為1,則說明大概率存在,然後再將該數字用作db或者redis,如果對應位置有乙個是0,則一定不存在

參考://參考:

public

static

void

testbloom()

//然後模擬隨機打來的key,先進過濾器,如果存在則進入redis取key

int count=0;

for(

int i =

0; i system.out.

println

("只有count個命中:"

+count)

;}

布隆過濾器

布隆過濾器 bloom filter 是1970年由布隆提出的。它實際上是乙個很長的二進位制向量和一系列隨機對映函式。布隆過濾器可以用於檢索乙個元素是否在乙個集合中。它的優點是空間效率和查詢時間都遠遠超過一般的演算法,缺點是有一定的誤識別率和刪除困難。如果想要判斷乙個元素是不是在乙個集合裡,一般想到...

布隆過濾器

布隆過濾器的概念 如果想要判斷乙個元素是不是在乙個集合裡,一般想到的是將所有元素儲存起來,然後通過比較確定。鍊錶,樹等等資料結構都是這種思路.但是隨著集合中元素的增加,我們需要的儲存空間越來越大,檢索速度也越來越慢 o n o logn 不過世界上還有一種叫作雜湊表 又叫 雜湊表,hash tabl...

布隆過濾器

如果想判斷乙個元素是不是在乙個集合裡,一般想到的是將集合中所有元素儲存起來,然後通過比較確定。鍊錶 樹 雜湊表 又叫雜湊表,hash table 等等資料結構都是這種思路。但是隨著集合中元素的增加,我們需要的儲存空間越來越大。同時檢索速度也越來越慢。bloom filter 是一種空間效率很高的隨機...