1. 推測式執行：
如果jobtracker 發現有拖後的任務，會再啟動乙個相同的備份任務，然後哪個先執行完就會去kill掉另乙個，因此會在監控頁面上經常能看到正常執行完的作業會有被kill掉的任務。
2.推測式執行預設開啟，但如果是**問題，並不能解決問題，而且會使集群更慢，通過在mapred-site.xml 配置檔案中設定 mapred.map.tasks.speculative.execution 和mapred.reduce.tasks.speculative.execution 可為map任務或reduce 任務開啟或關閉推測式執行，
3.重用jvm.
可以省去啟動新的jvm 消耗的時間.在 mapred-site.xml 配置檔案中設定mapred.job.reuse.jvm.num.tasks 設定單個jvm 上最大的任務數（1，> 1 或者-1 表示沒有限制）；
4.忽略模式
任務在讀取資料失敗2次後，會把資料位置告訴jobtracker ，然後重新啟動該任務並且在遇到所記得壞資料時直接跳過,(預設關閉,用skipbadrecord方法開啟)
Hadoop中Map任務的執行框架
類吧。關於上面我抽象出來的這個map任務執行框架，還需要補充的是，在map任務對應的上下文執行環境context中有個任務報告器taskreporter，它被用來不斷的向這個map任務的tasktracker報告任務的執行進度 這個精度只是乙個估計值，不一定很準確 另外，有人可能會問這個map任務的...
Hadoop 六 Hadoop企業優化
mapreduce 程式效率的瓶頸在於兩點 cpu 記憶體 磁碟健康 網路 1 資料傾斜 2 map和reduce數設定不合理 3 map執行時間太長，導致reduce等待過久 4 小檔案過多 5 大量的不可分塊的超大檔案 6 spill次數過多 7 merge次數過多等。mapreduce優化方法...
Hadoop 企業優化
mapreduce優化方法主要從六個方面考慮 資料輸入 map階段 reduce階段 io傳輸 資料傾斜問題和常用的調優引數。2.6.1 資源相關引數 以下引數是在使用者自己的mr應用程式中配置就可以生效 mapred default.xml 配置引數 引數說明 mapreduce.map.memo...