YARN容量排程器多佇列配置及應用提交詳解

目錄

0 需求

1 配置多佇列的容量排程器

2 向hive佇列提交任務

yarn預設的容量排程器是一條單佇列的排程器，在實際使用中會出現單個任務阻塞整個佇列的情況。同時，隨著業務的增長，公司需要分業務限制集群使用率。這就需要我們按照業務種類配置多條任務佇列。

預設yarn的配置下，容量排程器只有一條default佇列。在capacity-scheduler.xml中可以配置多條佇列，並降低default佇列資源佔比：

yarn.scheduler.capacity.root.queues

default,hive
the queues at the this level (root is the root queue).
yarn.scheduler.capacity.root.default.capacity
40同時為新加佇列新增必要屬性：
yarn.scheduler.capacity.root.hive.capacity
60yarn.scheduler.capacity.root.hive.user-limit-factor
1yarn.scheduler.capacity.root.hive.maximum-capacity
80yarn.scheduler.capacity.root.hive.state
running
*yarn.scheduler.capacity.root.hive.acl_administer_queue**
-1-1

預設的任務提交都是提交到default佇列的。如果希望向其他佇列提交任務，需要在driver中宣告：

public class wcdrvier 

}

Yarn 配置容量排程器

目錄 佇列比例 修改capacity scheduler.xml配置檔案 將新的配置同步到集群所有節點,重啟yarn 提交任務 檢視任務 yarn site.xml root prod 生產環境 40 dev 開發環境 60 mapreduce mr開發 50 spark spark開發 50 ya...

配置多佇列的容量排程器

預設yarn的配置下，容量排程器只有一條default佇列。在capacity scheduler.xml中可以配置多條佇列，並降低default佇列資源佔比 指定多佇列，增加hive佇列 yarn.scheduler.capacity.root.queues name default hive v...

Yarn介紹及排程器

yarn是hadoop集群當中的資源管理系統模組，從hadoop2.0開始引入yarn模組,yarn可為各類計算框架提供資源的管理和排程,主要用於管理集群當中的資源 主要是伺服器的各種硬體資源，包括cpu，記憶體，磁碟，網路io等 以及排程執行在yarn上面的各種任務。總結一句話就是說 yarn主要...