主要是排程方面的功能，有些工具也支援資源的管理，比如zeus和yarn類似
基於時間條件觸發程式執行，系統時間到了就跑
基於其他程式的執行結果進行排程執行，前面的任務跑完了，我開始跑
處理乙個資料的時候，只有資料存在的時候，才執行任務。
crontab -e
* * * * * command
分 時 日 月 周
00 12 * * * ***/xx.sh
每2分鐘
*/2 * * * *
每天早上6和晚上6點
00 6,18
每天早8~12點，每隔5分鐘
*/5 8-12
zeus2只有個人開發者在維護
bug比較多
常用版本：攜程版本
cloudera公司的產品
功能很多，支援的排程任務的型別最多
安裝部署，任務流的開發相對比較複雜hue封裝了很多客戶端，hadoop，hive，hbase,現在web平台上
distributed multiple executor
分布式多執行器
mysql retry
mysql重試：元資料放在mysql中
friendly ui
友好的ui
conditional workflow
data triggers 資料觸發器
high security 高安全性
support plug-in extensions, from web ui to job execution
支援外掛程式，能從web ui操作建立人物
full authorship management system
完整的人員管理系統
azkaban元件 web server 提供使用者訪問的介面、接收使用者提交的工作流，實現工作流的監控
executor：執行工作的節點
執行使用者提交的工作流任務
在web server提交一些job，job id，開始時間等資訊放在mysql中，
executor執行的狀態，當前執行到第幾步，執行的時間等資訊也是 在mysql中的。、
此處安裝需要對azkaban進行編譯，生成下圖所示的三個包
-》建立乙個目錄
mkdir -p /opt/modules/azkaban-3.3.0
-》解壓3個安裝包
-》配置mysql
-》為azkaban建立使用者、資料庫、設定許可權等
create database azkaban;
create user 'azkaban'@'%' identified by 'azkaban';
grant select,insert,update,delete on azkaban.* to 'azkaban'@'%' with grant option;
flush privileges;
select user,host from mysql.user;
sudo service mysqld restart
-》執行相關的sql建立對應表
source create-all-sql-0.1.0-snapshot.sql
source update.active_executing_flows.3.0.sql;
source update.execution_flows.3.0.sql;
-》配置web server
進入到web目錄下
生成認證金鑰
keytool -keystore keystore -alias jetty -genkey -keyalg rsa
密碼輸入：123456
enter keystore password:
re-enter new password:
what is your first and last name?
[unknown]: huadian
what is the name of your organizational unit?
[unknown]: huadian
what is the name of your organization?
[unknown]: huadian
what is the name of your city or locality?
[unknown]: zhejiang
what is the name of your state or province?
[unknown]: jiaxing
what is the two-letter country code for this unit?
[unknown]: cn
is cn=huadian, ou=huadian, o=huadian, l=zhejiang, st=jiaxing, c=cn correct?
[no]: yes
enter key password for (return if same as keystore password):
re-enter new password:
修改web的配置檔案
conf/azkaban.properties
default.timezone.id=asia/shanghai
mysql.host=bigdata-hpsk01.huadian.com
預設開啟了ssl，訪問時必須通過https來訪問8443埠
如果不想使用https，可以關閉ssl
jetty.ssl.use=false;
jetty.password=123456
jetty.keypassword=123456
jetty.trustpassword=123456
新增log4j配置
log4j.rootlogger=info,c
新增日誌轉換jar包
將slf4j-log4j12-1.6.6.jar上傳lib目標下
-》配置execute
進入到/azkaban-exec-server-0.1.0-snapshot下面
修改配置檔案：conf/azkaban.properties
default.timezone.id=asia/shanghai
mysql.port=3306
mysql.host=bigdata-hpsk01.huadian.com
mysql.database=azkaban
關閉記憶體檢查
vi plugins/jobtypes/commonprivate.properties
memcheck.enabled=false
-》啟動登入
啟動web server
bin/azkaban-web-start.sh
啟動executor
bin/azkaban-executor-start.sh
登入
azkaban/azkaban
基於時間條件觸發程式執行，系統時間到了就跑
基於其他程式的執行結果進行排程執行，前面的任務跑完了，我開始跑
處理乙個資料的時候，只有資料存在的時候，才執行任務。
crontab -e
* * * * * command
分 時 日 月 周
00 12 * * * ***/xx.sh
每2分鐘
*/2 * * * *
每天早上6和晚上6點
00 6,18
每天早8~12點，每隔5分鐘
*/5 8-12
azkaban安裝詳細教程
準備azkaban的安裝包 配置mysql 為azkaban建立使用者 資料庫 設定許可權等 create database azkaban create user azkaban identified by azkaban grant select,insert,update,delete on ...
Azkaban安裝配置
1.將azkaban壓縮包上傳 2.解壓unzip azkaban.zip keytool keystore keystore alias jetty genkey keyalg rsa4.生成時區檔案 tzselect覆蓋本地時區配置 cp usr share zoneinfo asia shan...
Azkaban排程器安裝使用 大蘿蔔部落格
mkdir export servers azkaban tar zxvf azkaban solo server 0.1.0 snapshot.tar.gz c export servers azkaban vim conf azkaban.properties default.timezone....