yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於分布式的作業系統平台。
yarn基本架構
resourcemanager的作用:
nodemanager的作用:
工作機制
使用者使用客戶端向 resourcemanager 提交乙個任務,同時指定提交到哪個佇列和需要多少資源。使用者可以通過每個計算引擎的對應引數設定,如果沒有特別指定,則使用預設設定。
container 啟動後執行具體的任務,處理分給自己的資料。nodemanager 除了負責啟動 container,還負責監控它的資源使用狀況以及是否失敗退出等工作,如果 container 實際使用的記憶體超過申請時指定的記憶體,會將其殺死,保證其他 container 能正常執行
作業排程器
hadoop作業排程器有三種:fifo、capacity scheduler和fair scheduler
fifo排程器:先進先出,按照到達時間排序,先到先服務。job1要幾個task分配幾個task。
容量排程器(capacity scheduler):支援多個佇列,每個佇列分配一定的資源類,每個佇列按照fifo排程策略。
job選擇佇列的策略:
公平排程器(fair scheduler):支援多佇列多使用者,,每個佇列中的資源量可以配置,同一佇列作業公平共享佇列中所有資源。
Yarn 資源排程器
資源排程器是什麼?yarn中負責集群資源分配的是scheduler。分成三種型別 fifo scheduler,capacity scheduler,fair scheduler。fifo scheduler 先進先出佇列,任務先提交就會被先執行,優先滿足最先被提交的任務,之後若有空餘資源再分配給後...
Yarn資源排程器
yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於乙個分布式的作業系統平台,而mapreduce等運算程式相當於作業系統之上的應用程式 resourcemanager 負責所有資源的監控 分配和管理。nodemanager 負責每乙個節點的維護。有了這個id,job就知道提交時所用...
Yarn資源排程
由於yarn良好的相容性和擴充套件性,目前可以支援大部分資料引擎,所以了解yarn的資源排程原理很有必要,yarn主要由四個重要角色組成 yarn排程主要分為8個步驟如上圖所示 1.有yarnclient提交program資訊打拼resourcemanager,包括 應用 和應用需要的一切引數和環境...