一:對yarn的理解
1.關於yarn的組成
大約分成主要的四個。
2.resourcemanager(rm)的理解
rm是全域性資源管理器,負責整個系統的資源管理和分配。
主要由兩個元件組成:排程器和應用程式管理器(asm)
應用程式管理器:負責管理整個系統中所有應用程式
使用者提交的每個應用程式均包含乙個am
am的主要功能:
(1)與rm排程器協商以獲取資源(用container表示)
(2)將得到的任務進一步分配給內部的任務
(3)與nm通訊以自動/停止任務
(4)監控所有任務執行狀態,並在任務執行失敗時重新為任務申請資源以重啟任務
當前yarn自帶了兩個am實現:
乙個用於演示am編寫方法的例項程式distributedshell
其他的計算框架對應的am正在開發中,比如spark等
4.nodemanager
nm是每個節點上的資源和任務管理器
(1)定時向rm匯報本節點上的資源使用情況和各個container的執行狀態
(2)接收並處理來自am的container啟動/停止等各種要求
5.container
container是yarn中的資源抽象,它封裝了某個節點上的多維度資源
yarn會為每個任務分配乙個container,且該任務只能使用該container中描述的資源
二:mapreduce在yarn上執行
1.流程圖
2.流程
(1):由客戶端提交乙個應用,由rm的am接受應用請求
提交過來的應用程式包括哪些內容:
c:本身應用程式的內容
接下來我們就要執行這個任務了,
(4)我們註冊好了後,得申請資源,申請資源是通過第四步,向resourcescheduler申請的
(5)申請並領取資源後,它會找nodemanager,告訴他我應經申請到了,然後nodemanager判斷一下,
(6)知道他申請到了以後就會啟動任務,當前啟動之前會準備好環境,
(8)完成以後會給rm進行匯報,讓rm撤銷註冊。然後rsm就會**資源。當然了,我們是分布式的,所以我們不會只跟自己的nodemanager通訊。也會跟其他的節點通訊。
通俗解釋:
Hadoop2 0 Yarn框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...
Hadoop2 0 Yarn框架原理及運作機制
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...
Yarn的架構及原理基礎
1.1 yarn 基本架構 1.2 yarn基本組成結構 1 排程器 排程器根據容量 佇列等限制條件 如每個佇列分配一定的資源,最多執行一定數量的作業等 將系統中的資源分配給各個正在執行的應用程式。2 應用程式管理器 使用者提交的每個應用程式均包含1個am,主要功能包括 與rm排程器協商以獲取資源 ...