Yarn 資源排程器

2021-09-29 03:27:34 字數 781 閱讀 3522

資源排程器是什麼?

yarn中負責集群資源分配的是scheduler。

分成三種型別:fifo scheduler,capacity scheduler,fair scheduler。

fifo scheduler:先進先出佇列,任務先提交就會被先執行,優先滿足最先被提交的任務,之後若有空餘資源再分配給後續的任務。缺點是乙個任務將集群資源耗盡,其他任務就只能等待資源被釋放後才能繼續執行,否則一直被阻塞。即小任務會被大任務阻塞

capacity scheduler。hadoop2.7.2預設的資源排程器。支援多個佇列,每個佇列是fifo排程。

例如集群的資源被分到了a,b兩個佇列中,

a佇列占用60%的資源,b佇列占用40%的資源。

root

------a[60%]

|---a.bi[40%]

|---a.realtime[60%]

------b[40%]

當使用者向a提交了乙個任務,此任務可以占用100%的集群資源(集群中僅此乙個任務,沒有其他任務),當向b佇列提交了任務後,佇列a會慢慢地釋放占用的資源,達到的平衡狀態是佇列a使用60%的資源執行乙個任務,佇列b使用40%的資源執行乙個任務。

特點:層次化設計:子佇列可以使用父佇列的資源,這樣可以合理分配、限制資源。

容量設計:每個佇列/任務都不會用盡集群資源,有任務資源閾值

fair scheduler,支援多佇列、多使用者,乙個佇列的所有job都會得到執行,按照資源差額(佇列中已有的資源與任務需要的資源)來評定任務執行的優先順序。

Yarn資源排程器

yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於乙個分布式的作業系統平台,而mapreduce等運算程式相當於作業系統之上的應用程式 resourcemanager 負責所有資源的監控 分配和管理。nodemanager 負責每乙個節點的維護。有了這個id,job就知道提交時所用...

Yarn資源排程器

yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於分布式的作業系統平台。yarn基本架構 resourcemanager的作用 nodemanager的作用 工作機制 使用者使用客戶端向 resourcemanager 提交乙個任務,同時指定提交到哪個佇列和需要多少資源。使用者可以...

Yarn資源排程

由於yarn良好的相容性和擴充套件性,目前可以支援大部分資料引擎,所以了解yarn的資源排程原理很有必要,yarn主要由四個重要角色組成 yarn排程主要分為8個步驟如上圖所示 1.有yarnclient提交program資訊打拼resourcemanager,包括 應用 和應用需要的一切引數和環境...