組成
resourcescheduler->資源排程器，根據節點的容量、佇列情況，為應用程式分配資源1、處理客戶端請求
2、監控nodemanager
4、整個系統的資源分配和排程
1.作業提交
(1)client呼叫job.waitforcompletion 方法，向整個集群提交 mapreduce作業;
(3)resourcemanager給client 返回該 job 資源的提交路徑（hdfs 路徑）和作業id，每乙個作業都有乙個唯一的id;
(4)client 傳送jar包切片資訊和配置檔案到指定的資源提交路徑;
2.作業初始化3.任務分配(11)resourcemanager將執行maptask任務配給空閒的多個nodemanager，nodemanager 分別領取任務並建立容器（container）
4.任務執行
(15)yarn中的任務將其進度和狀態返回給應用管理器, 客戶端每秒向應用管理器請求進度更新, 展示給使用者
5. 作業完成
除了向應用管理器請求作業進度外, 客戶端每5分鐘都會通過呼叫waitforcompletion()來檢 查作業是否完成 。作業完成之後, 應用管理器和container 會清理工作狀態。作業的資訊會被作業歷史伺服器儲存以備之後使用者核查。
分布式資源管理系統Yarn
1 yarn是乙個通用的資源排程平台 2 yarn可以為很多計算框架 mr，spark，storm 提供資源排程任務 3 yarn本身也是乙個集群，是乙個主從架構集群，主節點 resourcemanager,從節點 nodemanager client 提交任務 hadoop jar export ...
分布式排程框架Tbschedule 分析
1.策略名稱 這個可以根據你具體的 任務 取乙個與之相關的名字即可 2.任務型別 目前我只用過schedule型別 3.任務名稱 這個和具體的 要執行的任務的名稱一致即可 4.任務引數 這個基本上沒有用過 5.單jvm最大執行緒組數量 因為tbschedule在乙個jvm中可以啟動多個執行緒組，所以...
分布式任務排程框架 Elastic Job
elastic job是噹噹 開源的 個分布式排程解決 案，基於quartz 次開發的。分布式排程 在分布式環境中，任務能夠按照指定條件執行。例如 1 專案部署在多台伺服器上，其中定時任務只能有某一台主機執行，當此主機宕機其他定時任務選舉其一執行。2 分片執行 多台例項任務執行時，每個任務例項僅負責...