在hadoop應用，隨著業務指標的迭代，而使其日趨複雜化的時候，管理hadoop的相關應用會變成一件頭疼的事情，如：作業的依賴排程，任務的運**況的監控，異常問題的排查等，這些問題會是的我們日常的工作變得複雜。那麼，在沒有條件和精力去開發一套排程系統的情況下，我們去選擇一款第三方開源的排程系統，來盡量減輕和降低我們日常工作的複雜度，也是極好的。今天，筆者給大家比較幾種常見的排程系統，供大家去選擇。
oozie目前是託管在apache**會的，開源。在之前的部落格《oozie排程》一文當中，介紹相關oozie的排程，如何去排程hadoop的相關，大家可以從部落格的文中所描述的內容看出，配置的過程略顯繁瑣和複雜，配置相關的排程任務比較麻煩，然其視覺化介面也不是那麼的直觀，另外，對ui介面要求較高的同學，此排程系統估計會讓你失望。若是對改排程系統感興趣的同學可以到《oozie排程》一文中做相關細節的了解。這裡就不多做贅述了。
它是乙個hadoop的作業平台，從hadoop任務的除錯執行到生產任務的週期排程，它支援任務的整個生命週期。從其功能來看，它支援以下任務：
其開源位址在github上面，可在github搜尋zeus，即可找到相關工程。zeus是由阿里巴巴開源出來的，文件在github上描述的也比較詳細，其相關安裝步驟及使用方法可參考github上的官方文件，這裡就不多做贅述了。
這是由linkedin建立的乙個批處理工作流，用於跑hadoop的jobs。azkaban提供了乙個易於使用的使用者介面來維護和跟蹤你的工作流程。其視覺化介面如下所示：
另外，github上貢獻的azkaban排程系統的原始碼量不大，做二次開發難度不大。其功能點涉及以下內容：
azkaban的設計之初主要是基於可用性的考慮。在linkedin執行的有些年頭了，一直驅動著它們的hadoop和資料倉儲。
它由3個關鍵部分組成，分別是：
azkabanexecutorserver：另外，executorserver使用db的原因如下所示：
三者的關係圖，如下所示：
Hadoop 任務排程分析啟動篇
學習hadoop已有一段時間,從最初的搭建環境,配置環境,編寫mapreduce應用,到基於hive的查詢,慢慢的開始喜歡和習慣它的這種模式,最近對hadoop集群環境執行原理很感興趣,很想知道它究竟是怎麼做到這種分步式的運算與協調,也很想能夠從事這方面的工作.學習了董西成的 深入解析mapredu...
Hadoop離線 oozie的任務排程
1.任務排程 在oozie當中，主要是通過coordinator 來實現任務的定時排程，與workflow類似的，coordinator 這個模組也是主要通過xml來進行配置即可，接下來就來看看如何配置coordinator 來實現任務的定時排程 coordinator 的排程主要可以有兩種實現方式...
任務排程系統元件
前言 xxljob 和quzrts 比較 排程任務處理 xxljob quartz 的常見集群方案如下，通過在資料庫中配置定時器資訊，以資料庫悲觀鎖的方式達到同乙個任務始終只有乙個節點在執行 由個人開源的乙個輕量級分布式任務排程框架 主要分為 排程中心和執行器兩部分 排程中心在啟動初始化的時候，會預...