spark 之Job排程模式

使用者通過不同的執行緒提交的job可以併發執行，但是受到資源的限制。job到排程池（pool）內申請資源，排程池會根據工程的配置，決定採用哪種排程模式。

在預設情況下，spark的排程器以fifo（先進先出）方式排程job的執行。每個job被切分為多個stage。第乙個job優先獲取所有可用的資源，接下來第二個job再獲取剩餘資源。以此類推，如果第乙個job並沒有占用所有的資源，則第二個job還可以繼續獲取剩餘資源，這樣多個job可以並行執行。如果第乙個job很大，占用所有資源，則第二個job就需要等待第乙個任務執行完，釋放空餘資源，再申請和分配job。如果是相同的job不同的stage，則優先執行較早的stage。

在fair共享模式排程下，spark在多job之間以輪詢（round robin）方式為任務分配資源，所有的任務擁有大致相當的優先順序來共享集群的資源。這就意味著當乙個長任務正在執行時，短任務仍可以分配到資源，提交並執行，並且獲得不錯的響應時間。這樣就不用像以前一樣需要等待長任務執行完才可以。這種排程模式很適合多使用者的場景。