mapreduce流程
job的submit()方法建立乙個jobsubmmiter例項，呼叫submitjobinternal()方法。
shuffle
mapreduce確保每個reducer的輸入都是按鍵排序。系統執行排序、將map輸出作為輸入傳給reducer的過程稱為shuffle。
maptask 收集我們的 map()方法輸出的 kv 對，放到記憶體緩衝區中
從記憶體緩衝區不斷溢位本地磁碟檔案，可能會溢位多個檔案
多個溢位檔案會被合併成大的溢位檔案
在溢位過程及合併的過程中，都要呼叫 partitioner 進行分割槽和針對 key 進行排序
reducetask 根據自己的分割槽號，去各個 maptask 機器上取相應的結果分割槽資料
reducetask 會抓取到同乙個分割槽的來自不同 maptask 的結果檔案，reducetask 會將這些檔案再進行合併（歸併排序）
合併成大檔案後，shuffle 的過程也就結束了，後面進入 reducetask 的邏輯運算過 程（從檔案中取出乙個乙個的鍵值對 group，呼叫使用者自定義的 reduce()方法）
Mapreduce工作原理及流程
乙個mapreduce作業在hado上執行的整個過程可以分為4個實體 1 客戶端，提交mapreduce作業 在客戶端上使用runjob 方法來新建jobclient例項和呼叫它的submitjob 方法。提交作業後，runjob將每秒輪詢作業的進度，如果發現與上乙個記錄不同，便把報告顯示到控制台。...
MapReduce切片機制及執行流程
在map階段會將讀取進來的資料進行邏輯切片進行處理。此切片與hdfs的切塊不同，hdfs的切塊是將檔案按照block塊的形式儲存起來，mr則是將檔案按照切片數進行計算 預設切片大小等於塊大小，也就是128m切一片，切片數與maptask的數量是一致的，maptask的並行度是由客戶端提交job時的切...
MapReduce執行流程
mapreduce的大體流程是這樣的，如圖所示 由可以看到mapreduce執行下來主要包含這樣幾個步驟 1.首先對輸入資料來源進行切片 2.master排程worker執行map任務 3.worker讀取輸入源片段 4.worker執行map任務，將任務輸出儲存在本地 5.master排程work...