yarn框架
（1） resourcemanager(rm)：控制集群並管理應用程式對基礎資源的分配。
總體而言rm具有以下特徵：
1）處理客戶端請求
1） 監控nodemanager
2） 資源的分配與排程
總體而言am具有以下特徵：
1）負責資料的切分
2）為應用程式申請資源並分配給內部的任務
1） 任務的監控與容錯
（3） nodemanager(nm):管理yarn集群中的每個節點
總體而言nm具有以下特徵：
1） 管理每個節點的資源
2） 處理來自resourcemanager的命令
（4） container：對yarn中資源的抽象
總體而言container具有以下作用：
對任務執行環境進行抽象，封裝cpu,記憶體等多維度的資源以及環境變數、啟動命令等任務執行相關的資訊
yarn作業執行的步驟：
1. 作業提交：
1） client呼叫job.waitforcompletion方法，向整個集群提交mapreduce作業
2） 作業id由resourcemanager分配
3） 作業的client核實作業的輸出，計算輸入的split，將作業的資源（jar包，配置資訊，split資訊）拷貝至hdfs
2. 作業初始化
3） 由hdfs得到客戶端計算好的split資訊，為每個split建立map任務，根據mapreduce.job.reduces建立reduce任務
3. 任務分配
4. 任務執行
5. 進度和狀態更新
6. 作業完成
YARN基本框架
yarn作為資源管理器，任務排程的乙個框架，主要包含三大模組，即resourcemanager rm nodemanager nm aplicationmaster am 今天我們介紹resourcemanager。1 客戶端和resourcemanger互動 clientservice 管理每個應...
YARN框架詳解
yarn框架詳解 yarn官方解釋 yarn是什麼 resourcemanager 全域性的資源管理器，整個集群只有乙個，負責集群資源的統一管理和排程分配。處理客戶端請求 監控nodemanerger 資源分配與排程nodemanager 整個集群有多個，負責單個節點的資源管理和使用 單個節點上的資...
YARN基本框架介紹
在之前的部落格 yarn與mrv1的對比 中介紹了yarn對hadoop 1.0的完善。本文將重點介紹下yarn各個模組的作用與yarn執行流程。負責與rm排程器協商以獲取資源 用container表示 將得到的任務進一步分配給內部的任務 資源的二次分配 與nm通訊以啟動 停止任務。監控所有任務執行...