流式計算的排程複雜性在於需要考慮公平性和資料本地化。
fifo排程
fifo是乙個簡單的排程策略，適合用於作業併發少，或者無作業併發，且作業的map任務數量大，最好是大於等於集群的slot數量。fifo排程中經典的兩個問題
head-of-line
小作業，多作業併發的場景，量化資料本地化的公式為，為總的slot，為map任務需要的slot
sticky slots
大作業，多作業併發，slot數量小於總作業所需的slot數。作業能達到的最大本地化是
延遲排程
適用於大作業、適用於小作業、適用於長作業。延遲排程是乙個綜合表現比較好的排程策略。注意：大量作業併發也會存在資料本地化偏低的情況。
hadoop延遲除錯
1. 多級延遲排程
2. map任務做延遲排程，reduce任務不做延遲排程
3. 本地化公式：=73%
d：每秒能釋放的slot=s/t
排程演算法總結
1.程序排程演算法 1.先到先服務 2.最短作業優先排程 3.高響應比優先排程 要求服務時間相同，等待時間短的時間先服務，等待時間相同，要求服務時間長的先服務，兼顧了長作業和短作業。4.時間片輪轉 每個程序執行一定的時間，然後放到隊尾，執行下乙個佇列。5.最高優先順序排程 為每個程序設定乙個優先順序...
YARN延遲排程和主導資源公平性
延遲排程delay scheduling 如果申請乙個正忙的節點，一般方式是放寬容器的本地限制，去到相同機架上的另乙個節點來分配容器，但是實踐來說，如果多等待一小會 不超過幾秒 能夠增加在所請求的忙節點上分配容器的機會，則可以提高集群的效率，這就叫延遲排程。容量排程器和公平排程器都支援延遲排程 延遲...
延遲任務排程系統 技術選型與設計（上篇）
redis實現 delayqueue實現 時間輪實現 之前的設計 db delayqueue zookeeper 另一種方案 db delayqueue zookeeper mq 下面所討論技術方案的前提是精確觸發，所以我們不討論目前業界的一些分布式排程系統如 elastic job,xxl job...