每個map task最大重試次數，一旦重試引數超過該值，則認為map task執行失敗，預設值：4。
每個reduce task最大重試次數，一旦重試引數超過該值，則認為map task執行失敗，預設值：4。
當失敗的map task失敗比例超過該值為，整個作業則失敗，預設值為0. 如果你的應用程式允許丟棄部分輸入資料，則該該值設為乙個大於0的值，比如5，表示如果有低於5%的map task失敗（如果乙個map task重試次數超過mapreduce.map.maxattempts，則認為這個map task失敗，其對應的輸入資料將不會產生任何結果），整個作業仍認為成功。
如果reduce處理的資料量巨大(資料傾斜)，在做full gc的時候，stop the world。導致響應超時，超出預設的600秒，任務被殺掉。也會出現上面的報錯資訊。
MapReduce的容錯機制
mapreduce提供了很好的容錯機制，所謂容錯就是允許在整個任務執行過程中tasktracker中間出現當機，發生故障，或jvm發生重啟等等一些情況都允許它出錯，出錯有兩種機制，1.重複執行 出錯有可能是job出錯，有可能是硬體的問題，也有可能是資料的問題，不管什麼樣的問題，首先會嘗試重試，再次執...
MapReduce壓縮引數配置
要在hadoop中啟用壓縮，可以配置如下引數 compressioncodec有兩個方法可以用於輕鬆地壓縮或解壓縮資料。要想對正在被寫入乙個輸出流的資料進行壓縮，我們可以使用createoutputstream outputstreamout 方法建立乙個compressionoutputstrea...
Mapreduce框架的相關問題
jobtracker的單點故障 jobtracker和hdfs的namenode一樣也存在單點故障，單點故障一直是hadoop被人詬病的大問題，為什麼hadoop的做的檔案系統和mapreduce計算框架都是高容錯的，但是最重要的管理節點的故障機制卻如此不好，我認為主要是namenode和jobtr...