Azkaban的架構（三）

azkaban的架構

azkaban是一種類似於oozie的工作流控制引擎，可以用來解決多個hadoop（或spark等）離線計算任務之間的依賴關係問題。

也可以用其代替crontab來對週期性任務進行排程，並且更為直觀，可靠，同時提供了美觀的視覺化管理介面。

azkaban由三部分構成：

1、relational database(mysql)

azkaban將大多數狀態資訊都存於mysql中,azkaban web server 和 azkaban executor server也需要訪問db。

2、azkaban web server

提供了web ui，是azkaban的主要管理者，包括 project 的管理，認證，排程，對工作流執行過程的監控等。

3、azkaban executor server

排程工作流和任務，紀錄工作流活任務的日誌，之所以將azkabanwebserver和azkabanexecutorserver分開，主要是因為在某個任務流失敗後，可以更方便的將重新執行。而且也更有利於azkaban系統的公升級

mysql例項：azkaban使用mysql來儲存專案和執行。

azkaban web伺服器：azkaban使用jetty作為web伺服器，用作控制器以及提供web介面

azkaban執行伺服器：azkaban執行伺服器執行提交工作流。

azkaban架構的三種執行模式

1、solo server mode

h2web server 和 executor server執行在乙個程序裡

最簡單的模式，資料庫內建的h2資料庫，管理伺服器和執行伺服器都在乙個程序中執行，任務量不大專案可以採用此模式。

2、two server mode

mysql（主從結構）

web server 和 executor server執行在不同的程序

資料庫為mysql，管理伺服器和執行伺服器在不同程序，這種模式下，管理伺服器和執行伺服器互不影響

3、multiple executor mode

mysql（主從結構）

web server 和 executor server執行在不同的程序

executor server有多個

該模式下，執行伺服器和管理伺服器在不同主機上，且執行伺服器可以有多個。

注意：我這次採用第二種模式，管理伺服器、執行伺服器分程序，但在同一臺主機上。

Azkaban的架構（三）

azkaban的功能特點 二 不多說，直接上乾貨！azkaban的架構 azkaban是一種類似於oozie的工作流控制引擎，可以用來解決多個hadoop 或spark等 離線計算任務之間的依賴關係問題。也可以用其代替crontab來對週期性任務進行排程，並且更為直觀，可靠，同時提供了美觀的視覺化管...

azkaban的安裝使用

主要是排程方面的功能，有些工具也支援資源的管理，比如zeus和yarn類似 基於時間條件觸發程式執行，系統時間到了就跑 基於其他程式的執行結果進行排程執行，前面的任務跑完了，我開始跑 處理乙個資料的時候，只有資料存在的時候，才執行任務。crontab e command 分 時 日 月 周 00 1...

Oozie和Azkaban的區別

azkaban 乙個批量工作流任務排程器 oozie本質就是乙個作業協調工具 底層原理是通過將xml語言轉換成mapreduce程式來做，但只是在集中map端做處理，避免shuffle的過程。oozie和azkaban的區別 工作流配置上 azkaban使用properties或yml，oozie使...