1.生產上 job去申請排程資源時:
規則:
fifo 先進先出
capacity 計算
fair 公平 生產
fifo:表示 先進先出排程器
假設總共由40g的記憶體容器,job1在0點時進入執行作業,那麼40g的記憶體全部執行job1,當job2在1點請求執行的時候,它需要等job1作業全部執行完成釋放資源以後,再執行job2作業。
capacity:表示 計算排程器
假設總共有40g的記憶體容器,它會分成兩部分,5g的內村容器留給小的作業運算,它會一直運算小作業,不釋放,剩下的35g執行其他作業。
fair:表示 公平排程器(生產上都是用這一種)
假設一共有42g的記憶體容器,0點的時候job1任務先申請運算,然後會將40g的容器全部用作job1的運算中,當1帶點時,job2請求運算作業,這時會分給job2部分容器,讓它同時執行,
> 注意:這時會有延遲的,必須要等到job1有資源釋放出來之後,才會給job2運算。
cdh 動態資源池 放置規則
job -queue abc
主組 jepson bigdata root
生產上怎麼配置:
參考官網:
YARN的排程器
yarn主要就是為了排程資源,管理任務等。resourcemanager yarn上主節點,接收客戶端提交的任務,對資源進行分配 nodemanager yarn上從節點,主要進行任務計算 jobhistoryserver 檢視已經完成的任務歷史日誌記錄的服務 timelineserver hado...
Yarn 資源排程器
資源排程器是什麼?yarn中負責集群資源分配的是scheduler。分成三種型別 fifo scheduler,capacity scheduler,fair scheduler。fifo scheduler 先進先出佇列,任務先提交就會被先執行,優先滿足最先被提交的任務,之後若有空餘資源再分配給後...
Yarn資源排程器
yarn是乙個資源排程平台,負責為運算程式提供伺服器運算資源,相當於乙個分布式的作業系統平台,而mapreduce等運算程式相當於作業系統之上的應用程式 resourcemanager 負責所有資源的監控 分配和管理。nodemanager 負責每乙個節點的維護。有了這個id,job就知道提交時所用...