1） 給定乙個大小超過 100g 的檔案, 其中存在 ip 位址, 找到其中出現次數最多的 ip 位址(hash檔案切分)
將100g的檔案均分成100等份，乙個ip對應乙個相應的檔案中（ip%100）找出每個檔案中出現次數最多的乙個ip，先找出100份中最多的放入雜湊表中進行比較找出最大值
2） 給定100億個整數, 找到其中只出現一次的整數(位圖變形, 用兩位來表示次數).
先將100億個整數拆分成100份檔案，再將每份檔案中使用位圖，用2個bit位表示數字出現的次數，00儲存出現0次的數，01對應存放出現1次的數，10存放出現多次的數，11捨棄，再把1000份檔案中出現一次的數全部存放在乙個
3） 有兩個檔案, 分別有100億個query(查詢詞, 字串), 只有1g記憶體, 找到兩個檔案的交集(hash檔案切分 + 布隆過濾器).
近似演算法：利用布隆過濾器進行比較
精確演算法：將兩個檔案分別存入相同雜湊演算法的1000個雜湊桶檔案，再從每個檔案中找出相同的query.
4） 給上千個檔案, 每個檔案大小為1k - 100m, 設計演算法找到某個詞存在在哪些檔案中(倒排索引).
對於上千個檔案生成1000個布隆過濾器，並將1000個布隆過濾器存入乙個檔案裡，將記憶體分成兩份，乙份用來讀取布隆過濾器中的詞，乙份讀檔案，直到讀完每個布隆過濾器為止。
海量資料處理
1 有一千萬條簡訊，有重複，以文字檔案的形式儲存，一行一條，有 重複。請用5分鐘時間，找出重複出現最多的前10條。方法1 可以用雜湊表的方法對1千萬條分成若干組進行邊掃瞄邊建雜湊表。第一次掃瞄，取首位元組，尾位元組，中間隨便兩位元組作為hash code，插入到hash table中。並記錄其位址和...
海量資料處理
給定a b兩個檔案，各存放50億個url，每個url各占用64位元組，記憶體限制是4g，如何找出a b檔案共同的url？答案 可以估計每個檔案的大小為5g 64 300g，遠大於4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。遍歷檔案a，對每個url求取hash url 1000...
海量資料處理
分而治之 hash對映 hash統計 堆 快速 歸併排序 300萬個查詢字串中統計最熱門的10個查詢。針對此類典型的top k問題，採取的對策往往是 hashmap 堆。hash統計 先對這批海量資料預處理。具體方法是 維護乙個key為query字串，value為該query出現次數的hashtab...