Azkaban集群部署教程

1）將azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上傳到hadoop102的/opt/software路徑

2）新建/opt/module/azkaban目錄，並將所有tar包解壓到這個目錄下

mkdir /opt/module/azkaban

tar -zxvf azkaban-db-3.84.4.tar.gz -c /opt/module/azkaban/

tar -zxvf azkaban-exec-server-3.84.4.tar.gz -c /opt/module/azkaban/

tar -zxvf azkaban-web-server-3.84.4.tar.gz -c /opt/module/azkaban/

mv azkaban-exec-server-3.84.4/ azkaban-exec

mv azkaban-web-server-3.84.4/ azkaban-web

2）啟動mysql

mysql -uroot -p000000

mysql> create database azkaban;

設定密碼有效長度4位及以上

mysql> set global validate_password_length=4;

mysql> set global validate_password_policy=0;

mysql> create user 'azkaban'@'%' identified by '000000';

mysql> grant select,insert,update,delete on azkaban.* to 'azkaban'@'%' with grant option;

mysql> use azkaban;

mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
mysql> quit;

vim /etc/my.cnf

8）重啟mysql

systemctl restart mysqld

1）編輯azkaban.properties

vim /opt/module/azkaban/azkaban-exec/conf/azkaban.properties

在最後新增

executor.metric.reports=true

executor.metric.milisecinterval.default=60000

xsync /opt/module/azkaban/azkaban-exec

bin/start-exec.sh

4）下面啟用executor

curl -g "hadoop102:$(<. echo>

curl -g "hadoop103:$(<. echo>

curl -g "hadoop104:$(<. echo>

azkaban web server處理專案管理，身份驗證，計畫和執行觸發。

1）編輯azkaban.properties

vim /opt/module/azkaban/azkaban-web/conf/azkaban.properties

default.timezone.id=asia/shanghaidatabase.type=mysql

mysql.port=3306

mysql.host=hadoop102

mysql.database=azkaban

mysql.user=azkaban

mysql.password=000000

mysql.numconnections=100

azkaban.executorselector.filters=staticremainingflowsize,cpustatus

#staticremainingflowsize：正在排隊的任務數；

#cpustatus：cpu占用情況

#minimumfreememory：記憶體占用情況。測試環境，必須將minimumfreememory刪除掉，否則它會認為集群資源不夠，不執行。

2）修改azkaban-users.xml檔案，新增root使用者

vim /opt/module/azkaban/azkaban-web/conf/azkaban-users.xml

bin/start-web.sh

Azkaban 集群安裝部署（二）

步驟一 sftp 工具上傳並解壓 azkaban 三個安裝包 azkaban db 3.91.0 184 ge0e7aa7.tar azkaban exec server 3.91.0 184 ge0e7aa7.tar azkaban web server 3.91.0 184 ge0e7aa7.t...

two server模式部署（azkaban二）

2 解壓web server和exec server web server root node1 tar zxvf root azkaban 3.42.0 azkaban web server build distributions azkaban web server 0.1.0 snapshot...

azkaban安裝詳細教程

準備azkaban的安裝包 配置mysql 為azkaban建立使用者 資料庫 設定許可權等 create database azkaban create user azkaban identified by azkaban grant select,insert,update,delete on ...