1、 在hadoop中，每個mapreduce任務都被初始化為乙個job。每個job又可以分成兩個階段：map階段和reduce階段；map函式接受乙個形式的輸入，然後同樣產生乙個形式的中間輸出，hadoop會負責將所有具有相同結果中間key值的value集合到一起傳給reduce函式，reduce函式接受乙個如形式的輸入，然後對這個value集合進行處理，每個reduce產生0或1個輸出，reduce的輸出也是形式。
2、map-reduce處理流程：
場景一：每個map對應乙個輸出，多個map對應有多個輸出； map輸出作為reduce的輸入，reduce進行合併排序，輸出最終結果。
場景二：mapreduce再執行過程中往往不止乙個reduce task，reduce task的數量是可以通過程式制定的，當存在多個reduce task時，每個reduce會收集乙個或多個key值。需要注意的是，當出現多個reduce task時，每個reduce task都會生成乙個輸出檔案。
場景三：另外，沒有reduce task的時候，系統會直接將map的輸出作為輸出結果作為最終結果，同時map task的數量可以看做是reduce task的數量，即：有多少個map task 就有多少個輸出檔案。
3、combine函式： 在mapreduce中使用combine函式很簡單，只需再程式中新增如下內容：job.setcombinerclass(combine.class);可以制定reduce函式為combine函式，因為reduce函式有合併功能。
hadoop map reduce 階段筆記
shuffle and sort mr 框架保證 每個 reducer 的輸入都是按照 key 鍵排過序的。shuffle 將map輸出結果送到reducer和排序的功能。1 map 每個map task將結果輸出到環形記憶體緩衝區，當到達一定閾值，則啟動乙個後台程序將快取中的資料 1 按照 red...
Hadoop MapReduce 效能優化
我們時常談論說到mapreduce時，我們都會說它是離線計算框架，磁碟io開銷大，job執行比較慢等等。這一篇部落格，南國系統回顧下mr程式執行慢的原因，以及如何優化mr程式。我們都知道mapreduce是離線計算框架，不同於spark記憶體計算框架模型。乙個標準的mr程式由map方法和reduce...
九 hadoop mapreduce分割槽
一 什麼時候分割槽？1 分割槽的實現 通過繼承partitioner類，實現getpartition方法。public int getpartition key key,value value,int reducetasknumber map結束後得到的每個key value都呼叫該方法，並把key...