大資料協作框架是乙個桐城，就是hadoop2生態系統中幾個輔助的hadoop2.x框架。主要如下：
hadoop排程框架
quartz排程框架，但是多個作業時，缺點就出來了。
linux crotab
是針對每個使用者而言。
crontab -e 就是加任務
規則如下：
* * * * * cmd
前面的五個*分別是表示設定的時間，即分鐘、時、天、月和星期。然後cmd就是代表具體的命令。
比如：
crontab -e
## first crontab*/1 * * * * /bin/date >> /home/hadoop/date.log
這個date.log是我們自己新建的。
檢視任務
crontab -l
刪除任務
crontab -r
針對hadoop任務作業排程
針對mr怎麼來寫呢
我一般喜歡把myeclipse或eclipse那邊打好的jar包，放到/home/hadoop/jar目錄下
針對hive怎麼來寫呢
hive-select-log.sql是我們自己寫好的sql指令碼
針對sqoop怎麼來寫呢
sqoop-imoort.txt是我們自己寫好的指令碼
針對shell script怎麼來寫呢
bin/sh ***.sh
先寫好hive，再寫好sqoop指令碼
這裡，我重點使用oozie和azkaban。
Hadoop的排程器
隨著mapreduce的流行，其開源實現hadoop也變得越來越受推崇。在hadoop系統中，有乙個元件非常重要，那就是排程器，它的作用是將系統中空閒的資源按一定策略分配給作業。在hadoop中，排程器是乙個可插拔的模組，使用者可以根據自己的實際應用要求設計排程器。hadoop中常見的排程器有三種，...
Hadoop作業排程演算法
hadoop集群中有三種作業排程演算法，分別為 fifo 公平排程演算法和計算能力排程演算法 fifo比較簡單，hadoop 中只有乙個作業佇列，被提交的作業按照先後順序在作業佇列中排隊，新來的作業插入到隊尾。乙個作業執行完後，總是從隊首取下乙個作業執行。這種排程策略的優點是簡單 易於實現，同時也減...
Hadoop資源排程器
目前，hadoop作業排程器主要有三種 fifo capacity scheduler和fair scheduler。hadoop2.7.2預設的資源排程器是capacity scheduler。具體設定詳見 yarn default.xml檔案 the class to use as the re...