海量資料處理

2022-07-29 13:30:16 字數 391 閱讀 4774

一.hash海量資料處理問題:

1.最多問題

2.topk問題

3.相同問題

主要是分為三步

1.分而治之,這一步是當記憶體不足時存在如果記憶體充足可以不需要此步。

2.使用字典樹trie(針對單詞)或者hash_map統計次數(topk問題,最多問題),使用hash_set判斷是否有重複。時間複雜度o(n)

3.使用堆排序找出最大k個元素。時間複雜度o(n'*logk)

二.bitmap解決是否存在重複的數,是否存在某個數。

是否存在某個數,程式設計珠璣第一章有具體的例子

2.5億個整數中找出不重複的整數的個數,記憶體空間不足以容納這2.5億個整數

三.桶排序解決中位數問題

5億個int找它們的中位數

海量資料處理

1 有一千萬條簡訊,有重複,以文字檔案的形式儲存,一行一條,有 重複。請用5分鐘時間,找出重複出現最多的前10條。方法1 可以用雜湊表的方法對1千萬條分成若干組進行邊掃瞄邊建雜湊表。第一次掃瞄,取首位元組,尾位元組,中間隨便兩位元組作為hash code,插入到hash table中。並記錄其位址和...

海量資料處理

給定a b兩個檔案,各存放50億個url,每個url各占用64位元組,記憶體限制是4g,如何找出a b檔案共同的url?答案 可以估計每個檔案的大小為5g 64 300g,遠大於4g。所以不可能將其完全載入到記憶體中處理。考慮採取分而治之的方法。遍歷檔案a,對每個url求取hash url 1000...

海量資料處理

分而治之 hash對映 hash統計 堆 快速 歸併排序 300萬個查詢字串中統計最熱門的10個查詢。針對此類典型的top k問題,採取的對策往往是 hashmap 堆。hash統計 先對這批海量資料預處理。具體方法是 維護乙個key為query字串,value為該query出現次數的hashtab...