首先放張yarn官網的圖便於理解:
講一下yarn的優點(網上一搜一籮筐):
首先要提一下mapreduce1,它只包含jobtracker(協調在集群上執行的所有作業)和tasktracker(執行分配的任務並定期向 jobtracker 報告進度),主要存在這樣幾個問題:
然後才是yarn的主場:
對於資源的表示以記憶體為單位,比之前以剩餘slot數目更加合理,相當於map task slot和reduce task slot共享記憶體。
container用來作為yarn的乙個資源隔離元件,可以用來對資源進行排程和控制。
yarn主要元件有以下幾個:
resource manager: 負責資源排程、資源分配等工作,執行在namenode節點。
container: 通過resourcemanager分配。包括容器的cpu、記憶體等資源。
收工。參考文件
yarn官方文件
**yarn工作原理
yarn簡述及優勢
Yarn工作機制
yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於乙個分布式的作業系統平台,而mapreduce等運算程式則相當於執行於作業系統之上的應用程式1 yarn 並不清楚使用者提交的程式的執行機制 2 yarn 只提供運算資源的排程 使用者程式向 yarn 申請資源,yarn 就負責分配...
yarn工作流程
對多工執行環境的抽象,包括cpu 記憶體等多維度資源以及環境變數 啟動命令等任務執行的相關環境 執行流程 1 客戶端向rm中提交程式 2 rm向nm中分配乙個container,並在該container中啟動am 3 am向rm註冊,這樣使用者可以直接通過rm檢視應用程式的執行狀態 然後它將為各個任...
Yarn工作執行流程
job的提交 客戶端向resourcemanager提交job請求,申請資源。resourcemanager向客戶端返回乙個job id以及共享資源路徑hdfs tmp 客戶端將共享資源放在共享資源路徑下 job.jar,job.xml,job.xml 客戶端向resourcemanager返回共享...