1. client向yarn提交應用程式
2. rm為應用程式分配乙個container,並於nm通訊,告訴它在container中啟動aplicationmaster
3.aplicationmaster向rm註冊,然後傳送為各個任務申請資源的請求,並監控task的執行狀態直到結束
4. aplicationmaster採用輪詢方式用過rpc協議向rm申請,領取資源
5. aplicationmaster申請到資源後,便於nm進行通訊,傳送啟動任務的請求
6. nm設定執行環境,在container中啟動task
7. 各個task通過rpc向aplicationmaster傳送執行狀況
8. task執行完成後,aplicationmaster向rm登出,並關閉自己總體來說yarn執行應用程式主要分2個階段
1.啟動aplicationmaster
2.建立應aplicationmaste,申請資源,監控執行狀況直到結束
YARN架構設計詳解
yarn的架構設計使其越來越像是乙個雲作業系統,資料處理作業系統。1 排程器 2 應用程式管理器 管理yarn內執行的應用程式的每個例項。功能 資料切分 為應用程式申請資源並進一步分配給內部任務。任務監控與容錯 負責協調來自resourcemanager的資源,並通過nodemanager監視容易的...
YARN架構設計詳解
yarn的架構設計使其越來越像是乙個雲作業系統,資料處理作業系統。1 resourcemanager 1 排程器 2 應用程式管理器 管理yarn內執行的應用程式的每個例項。功能 資料切分 為應用程式申請資源並進一步分配給內部任務。任務監控與容錯 負責協調來自resourcemanager的資源,並...
salesforce 架構設計 從架構設計到架構師
因為碎片化的時間多了,所以開始刷起某乎了,關注了架構相關的板塊,也順手回答了一些問題。發現有很多同道中人正在經歷著我前兩年經歷的階段,對於做架構沒有相對具象的一些理解,更沒有系統化的認識。所以把最近回答的一些內容整理一下,權當記錄,留給3年後的自己 按慣例,容許我裝x開頭 一 架構的定義 在軟體開發...