Hadoop資源排程器

目前，hadoop作業排程器主要有三種：fifo、capacity scheduler和fair scheduler。hadoop2.7.2預設的資源排程器是capacity scheduler。

具體設定詳見：yarn-default.xml檔案

the class to use as the resource scheduler.

yarn.resourcemanager.scheduler.class

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.capacityscheduler

1.先進先出排程器（fifo）

2. 容量排程器（

3. 公平排程器（

4.總結

隨著hadoop版本的演化，fair scheduler和capacity scheduler的功能越來越完善， 包括層級佇列組織方式、資源搶占、批量排程等，也正因如此，兩個排程器同質化越來越嚴重， 目前看了，兩個排程器從設計到支援的特性等方面非常接近， 而由於fair scheduler支援多種排程策略，現在看來，可以認為fair scheduler具備了capacity scheduler具有的所有功能。

下表從多個方面對比了hadoop 2.0（yarn）中這兩個排程器的異同，通過這個表讀者能更好地理解capacity scheduler與fair scheduler的相同點和不同點。

其中，fifo、fair和drf分別是指 先來先服務、公平排程 和 主資源公平排程，具體含義如下：

fifo：先按照優先順序高低排程，如果優先順序相同，則按照提交時間先後順序排程，如果提交時間相同，則按照（佇列或者應用程式）名稱大小（字串比較）排程

fair：按照記憶體資源使用量比率排程，即按照used_memory/minshare大小排程（核心思想是按照該排程演算法決定排程順序，但還需考慮一些邊界情況）

drf：借鑑了mesos中的設計策略，按照主資源公平排程演算法進行排程，具體已經在apache mesos排程器機制進行了介紹。

實際上，hadoop的排程器遠不止以上三種，最近，出現了很多針對新型應用的hadoop排程器。

hadoop資源排程器

hadoop支援多使用者環境，在生產環境中，往往乙個大的hadoop集群，供多個應用如hive，mahout等之類的使用。在多使用者環境下，有的使用者提交的工作量很大 很頻繁，而有的很少，還有的優先順序很高，那麼如何保證 按需 來為各個使用者分配資源 記憶體 cpu 頻寬 io 磁碟 呢？這就需要用...

Hadoop資源排程器

目前，hadoop作業排程器主要有三種 fifo scheduler capacity scheduler和fair scheduler。hadoop2.7.2預設的資源排程器是capacity scheduler。具體設定詳見 yarn site.xml檔案 the class to use as...

Hadoop資源感知排程器

1.什麼是hadoop資源感知排程器？hadoop資源感知排程器是指排程器根據各個tasktracker當前資源負載情況 cpu，記憶體，網路io等 動態決定將新任務排程給哪個節點處理。2.hadoop資源感知排程器的必要性和重要性 當前絕大多數hadoop排程器是按照slot多少進行排程。在had...