yarn是乙個資源排程平台，負責為運算程式提供伺服器運算資源，相當於乙個分布式的作業系統平台，而mapreduce等運算程式則相當於執行於作業系統之上的應用程式。
job提交全過程
（1）job提交
第1步：client 呼叫job.waitforcompletion()方法，向整個集群提交mapreducejob。
第2步：client 向resourcemanager申請乙個jobid。
第3步：resourcemanager給client 返回該job資源的提交路徑（臨時目錄 + jobid生成的路徑）。
第4步：client 提交jar包、切片資訊和配置檔案到指定的資源提交路徑。
（2）作業初始化
第6步：當resourcemanager收到client 的請求後，先將該job新增到容量排程器（佇列）中。
第7步：通知乙個空閒的nodemanager領取到該job。
（3）任務分配
第11步：resourcemanager將執行maptask任務分配給另外兩個nodemanager，然後分別領取任務並建立容器。
（4）任務執行（此階段為maptask、shuffle、reducetask資料處理階段）
第14步：reducetask拷貝maptask相應分割槽的資料，然後就行操作。
（5）進度和狀態更新
（6）job完成
Hadoop YARN容錯機制
在現實情況中，使用者 錯誤不斷，程序崩潰，機器故障等情況均容易造成任務失敗。hadoop最主要的好處之一就是它能處理此類故障並能夠成功完成作業。1 任務失敗對於一些應用程式，不希望一旦有少數幾個任務失敗就終止執行整個作業，因為即使有任務失敗，作業的一些結果可能還是可用的。在這種情況下，可以為作業設定...
Hadoop Yarn 框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源，最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am，主要功能包括 與rm排程器協商以獲取資源 ...
Hadoop Yarn 框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源，最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am，主要功能包括 與rm排程器協商以獲取資源 ...