reducetask 分了四個階段，第一階段是copy階段，每乙個reducetask會從所有的maptask中拷貝同乙個分割槽的資料，就是說每乙個reducetask單獨負責處理乙個分割槽，互不影響。第二階段是merge階段，首先我們假如有多個maptask，每個maptask都有相同的分割槽，reducetask要將所有相同分割槽的資料合併成乙個大檔案。這就是merge階段，將所有maptask輸出的檔案，相同分割槽，合併成乙個大檔案。也就是說乙個reducetask都要生成乙個檔案。接下來是sort階段，合併以後就會歸併排序，形成乙個有序的大檔案，進入到我們自定義的reduce() 方法中。接著reduce方法就會進一步操作我們的資料，這裡需要注意，每乙個key都會執行一次redeuce方法。在map() 方法中，每一行資料都會執行一次map方法。
reducetask會主動從所有maptask上遠端 拷貝同一分割槽資料，並針對某一片資料，如果其大小超過一定閾值，則寫到磁碟上，否則直接放到記憶體中。
在遠端拷貝資料的同時，reducetask啟動了兩個後台執行緒對記憶體和磁碟上的檔案進行合併，以防止記憶體使用過多或磁碟上檔案過多。
按照mapreduce語義，使用者編寫reduce()函式輸入資料是按key進行聚集的一組資料。為了將key相同的資料聚在一起，hadoop採用了基於排序的策略。由於各個maptask已經實現對自己的處理結果進行了區域性排序，因此，reducetask只需對所有資料進行一次歸併排序即可。
reduce()函式將計算結果寫到hdfs上。
map方法之後，reduce方法之前的資料處理過程稱之為shuffle。（注意maptask和 reducetask
範圍是有重疊的，只是出發角度的問題）具體流程參考maptask和reducetask。
問題）具體流程參考maptask和reducetask。
Partition和ReduceTask的關係
先看原始碼 numpartitions conf.getnumreducetasks if numpartitions 1 else override public int getpartition k key,v value,int numpartitions 預設分割槽是根據key的hashco...
MapTask與ReduceTask深入分析與調優
當map task開始運算，並產生中間資料時，其產生的中間結果並非直接就簡單的寫入磁碟。這中間的過程比較複雜，並且利用到了記憶體buffer來進行已經產生的 部分結果的快取，並在記憶體buffer中進行一些預排序來優化整個map的效能。如上圖所示，每乙個map都會對應存在乙個記憶體 buffer m...
HttpModule工作機制
httpmodule是如何工作的 當乙個http 請求到達 時，整個 asp.net framework 系統還並沒有對這個 請求做任何處理，也就是說此時對於 請求來講，是乙個http 請求的 必經之路 所以可以在這個 請求傳遞到真正的請求處理中心 之前附加一些需要的資訊在這個 請求資訊之上，或者針...