本部落格內曾已經整理過十道海量資料處理面試題與十個方法大總結。接下來，本部落格內會重點分析那些海量資料處理的方法，並重寫十道海量資料處理的面試題。如果有任何問題，歡迎不吝指正。謝謝。
bloom filter是一種空間效率很高的隨機資料結構，它的
原理是，當乙個元素被加入集合時，通過k個hash函式將這個元素對映成乙個位陣列（bit array）中的k個點，把它們置為1。檢索時，我們只要看看這些點是不是都是1就（大約）知道集合中有沒有它了：如果這些點有任何乙個0，則被檢索元素一定不在；如果都是1，則被檢索元素很可能在。這就是布隆過濾器的基本思想。
但bloom filter的這種高效是有一定代價的：在判斷乙個元素是否屬於某個集合時，有可能會把不屬於這個集合的元素誤認為屬於這個集合（false positi
海量資料處理 高階程式設計師之海量資料處理
何謂海量資料處理？所謂海量資料處理，無非就是基於海量資料上的儲存 處理 操作。何謂海量，就是資料量太大，所以導致要麼是無法在較短時間內迅速解決，要麼是資料太大，導致無法一次性裝入記憶體。那解決辦法呢?針對時間，我們可以採用巧妙的演算法搭配合適的資料結構，如bloom filter hash bit ...
海量資料處理之Bitmap
什麼是bit map 所謂的bit map就是用乙個bit位來標記某個元素對應的value，而key即是該元素。由於採用了bit為單位來儲存資料，因此在儲存空間方面，可以大大節省。如果說了這麼多還沒明白什麼是bit map，那麼我們來看乙個具體的例子，假設我們要對0 7內的5個元素 4,7,2,5,...
演算法之海量資料處理
1.雜湊 分治 尋找共同的url 給定兩個a和b檔案，各存放50億個url，每個url佔64位元組，記憶體限制4gb，請找出a和b檔案中共同的url。乙個檔案的記憶體 5 000 000 000 64 320gb，每個檔案可以分為100個小檔案，每個檔案大約是3.2gb。1000萬個字串去重 假設每...