slot，它是資源基本單位。每個tasktracker上配有一定的map slot（通過引數mapred.tasktracker.map.tasks.maximum配置）和reduce slot（通過引數mapred.tasktracker.reduce.tasks.maximum配置），分別用於執行map task和reduce task。
比如乙個tasktracker上配有5個map slot和5個reduce slot，則說明該節點上最多可以同時執行5個map task和5個reduce task。具體每個節點上配置幾個slot，完全是你根據節點的資源配置決定。比如乙個節點是8核40g記憶體，你可以設定10個map slot和4個reduce slot（通常而言，map slot與reduce slot總數是核數的1~2倍，但還要考慮具體應用，比如你的作業全是大記憶體的，可能要考慮記憶體夠不夠用）。
tasktracker週期性通過心跳向jobtracker匯報自己的狀態，包括：空閒slot數，task運**況，磁碟使用情況等，jobtracker收到心跳資訊後，會按照一定的策略為該節點分配乙個或者多個task。
對於fair scheduler而言，可通過引數mapred.fairscheduler.assignmultiple配置是否一次分配多個task。 通常而言，對於每個心跳，jobtracker最多為對應tasktracker分配乙個task，但你可通過將該引數設定為true以讓它一次分配盡可能多的task。
Yarn的fair和capacity排程器
yarn通過可插拔方式提供排程策略，由於fifo對多使用者情況欠缺，這裡只介紹容量排程 capacity 和公平排程器 fair 相同點 1.支援多佇列多使用者，提高集群資源利用率 2.支援動態載入配置檔案，比如修改了配置，yarn rmadmin refreshqueues即可重新整理 3.支援資...
linux排程器（九） 排程器的配置引數
排程器的配置引數 proc sys kernel sched min granularity ns 4000000ns sysctl sched min granularity 表示程序最少執行時間，防止頻繁的切換，對於互動系統 如桌面 該值可以設定得較小，這樣可以保證互動得到更快的響應 見週期排程...
Yarn 配置容量排程器
目錄 佇列比例 修改capacity scheduler.xml配置檔案 將新的配置同步到集群所有節點,重啟yarn 提交任務 檢視任務 yarn site.xml root prod 生產環境 40 dev 開發環境 60 mapreduce mr開發 50 spark spark開發 50 ya...