yarn通過兩個 守護執行緒提供核心服務：resourcemanager，管理集群所有資源的切分以及作業的排程與監控；nodemanager，執行在集群所有節點上，啟動並監控容器的執行狀況，並負責向resourcemanager匯報。
在linux上，hadoop是通過cgroup技術實現container資源隔離的。
下面有兩張圖，都是乙個作業在yarn中執行流程，不過 我覺得第二張圖更加清晰易懂，第一張圖來自於hadoop權威指南。
根據這兩張圖來說明下乙個作業在yarn中執行流轉過程。
2. rm會尋找乙個可以執行 am的 容器的節點，並啟動am。
4. 當am申請到更多的資源時，便會與對應的nm通訊，要求其啟動任務。
5. 各個任務通過rpc協議向am匯報自己的狀態和進度。當程式執行完畢後，am向rm登出並關閉自己。
hadoop簡單了解
四大模組 三大核心 hdfs mapreduce yarn 生態圈 分布式系統 hdfs檔案系統的介紹 分而治之 將大檔案 大批量檔案，分布式存放在大量伺服器上，以便於採取分而治之的方式對海量資料進行運算分析 重點概念 檔案切塊副本存放元資料 namenode提供元資料服務，元資料資訊要載入到記憶體...
Hadoop核心元件之YARN
作業系統級別的排程框架，可以讓各種計算框架執行在上面 yarn 不同計算框架可以共享同乙個hdfs集群上的資料，享受整體的資源排程 on yarn的好處 與其他計算框架共享集群資源，按資源需要分配，進而提高集群資源的利用率 spark mapreduce storm flink 1 resource...
Hadoop學習筆記之YARN
yarn service框架提供了一流的支援和api，可以在yarn中本地化時間執行的服務。簡而言之 in a nutshell 它作為乙個容器編排平台，用於管理yarn上的貨櫃化服務。它支援yarn中的docker容器和傳統的基於程序的容器。該框架的職責包括執行配置解決方案和安裝，生命週期管理 如...