思路：分而治之+hash（將任意長度輸入通過雜湊變成固定長度輸出）。記憶體有限制的話，先根據雜湊值分組，保證每個組都能在記憶體裡存下。
1、「分而治之」的思想，按照i資料的hash(key)%1024值，把海量資料分別儲存到1024個小檔案中 ：o（n）
2、使用hashmap結構儲存出現的資料的頻次，key-資料值（第k個資料夾中），value-資料頻次（第k個資料夾中）
3、取其中頻次最多的資料再進行合併hashmap
當然第二步，如果問題統計的不是頻數，可以採用另外一種思路，問海量資料中最大（小）的k個值
2、借助堆這個資料結構，找出top k，時間複雜度為n『logk。k是要維護多大的堆。
兩組數求交集：十億個數的集合和10w個數的集合，如何求它們的交集。集合的數字不重複。
只對小陣列進行處理，對小陣列做hash，然後遍歷大陣列即可。
海量資料處理
1 有一千萬條簡訊，有重複，以文字檔案的形式儲存，一行一條，有 重複。請用5分鐘時間，找出重複出現最多的前10條。方法1 可以用雜湊表的方法對1千萬條分成若干組進行邊掃瞄邊建雜湊表。第一次掃瞄，取首位元組，尾位元組，中間隨便兩位元組作為hash code，插入到hash table中。並記錄其位址和...
海量資料處理
給定a b兩個檔案，各存放50億個url，每個url各占用64位元組，記憶體限制是4g，如何找出a b檔案共同的url？答案 可以估計每個檔案的大小為5g 64 300g，遠大於4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。遍歷檔案a，對每個url求取hash url 1000...
海量資料處理
分而治之 hash對映 hash統計 堆 快速 歸併排序 300萬個查詢字串中統計最熱門的10個查詢。針對此類典型的top k問題，採取的對策往往是 hashmap 堆。hash統計 先對這批海量資料預處理。具體方法是 維護乙個key為query字串，value為該query出現次數的hashtab...