two server模式部署(azkaban二)

2021-09-11 04:03:07 字數 3106 閱讀 1688

(2)解壓web‐server和exec‐server

#web-server

[root@node1 ~]# tar -zxvf /root/azkaban-3.42.0/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-snapshot.tar.gz -c .

#exec‐server

[root@node1 ~]# tar -zxvf /root/azkaban-3.42.0/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-snapshot.tar.gz -c .

(3)將azkaban原始碼中的create-all-sql指令碼拷貝到mysql所在節點node2

[root@node1 ~]# scp /root/azkaban-3.42.0/azkaban-db/build/install/azkaban-db/create-all-sql-0.1.0-snapshot.sql root@node2:~
(4)mysql上建立對應的庫、增加許可權、建立表

mysql> create database azkaban_two_server; #建立資料庫

mysql> use azkaban_two_server;

mysql> create user 'azkaban'@'%' identified by 'azkaban';#建立使用者

mysql> grant select,insert,update,delete on azkaban_two_server.* to 'azkaban'@'%' with grant option;#給使用者授權

mysql> source create-all-sql-0.1.0-snapshot.sql;#建立表

(5)生成ssl

[root@node1 ~]# keytool -keystore keystore -alias jetty -genkey -keyalg rsa

注:密碼和最後確認需要輸入,其他預設即可。

(6)設定web‐server

拷貝conf目錄和log4j.properties

[root@node1 ~]# cp -r /root/azkaban-solo-server-0.1.0-snapshot/conf /root/azkaban-web-server-0.1.0-snapshot/

[root@node1 ~]# find azkaban-3.42.0 -name 'log4j*'

[root@node1 ~]# cp azkaban-3.42.0/azkaban-web-server/src/test/resources/log4j.properties azkaban-web-server-0.1.0-snapshot/conf/

[root@node1 ~]# vim azkaban-web-server-0.1.0-snapshot/conf/azkaban.properties

#需要修改的地方

default.timezone.id=asia/shanghai

#database.type=h2

#h2.path=./h2

#h2.create.tables=true

database.type=mysql

mysql.port=3306

mysql.host=node2

mysql.database=azkaban_two_server

mysql.user=azkaban

mysql.password=azkaban

mysql.numconnections=100

jetty.keystore=/root/keystore #keytool生成的keystore路徑

jetty.password=1234567 #keytool中設定的密碼

jetty.keypassword=1234567

jetty.truststore=/root/keystore

jetty.trustpassword=1234567

新增azkaban.native.lib=false 和 execute.as.user=false屬性

[root@node1 azkaban-web-server-0.1.0-snapshot]# mkdir -p plugins/jobtypes

[root@node1 jobtypes]# cat commonprivate.properties

azkaban.native.lib=false

execute.as.user=false

(7)啟動web-serrver並驗證

[root@node1 ~]# cd azkaban-web-server-0.1.0-snapshot/

[root@node1 azkaban-web-server-0.1.0-snapshot]# bin/azkaban-web-start.sh

驗證: jps=>azkabanwebserver

webui=>http://node1:8081/index

(8)從web-server拷貝conf目錄、plugins目錄並啟動executor‐server

[root@node1 ~]# cd azkaban-exec-server-0.1.0-snapshot/

[root@node1 azkaban-exec-server-0.1.0-snapshot]# cp -r ../azkaban-web-server-0.1.0-snapshot/conf/ .

[root@node1 azkaban-exec-server-0.1.0-snapshot]# cp -r /root/azkaban-web-server-0.1.0-snapshot/plugins/ .

[root@node1 azkaban-exec-server-0.1.0-snapshot]# bin/azkaban-executor-start.sh

原文:

kafka部署模式

1 單broker模式 2 單機多broker模式 偽集群 3 多機多broker模式 真正的集群模式 第一種單broker模式 2.解壓kafka tar xvf kafka 2.9.1 0.8.2.1.tgz 解壓到 usr local 3.修改配置檔案 config zookeeper.pro...

無線部署模式

wlan的資料 工作原理 csma ca 載波監聽多路訪問 衝突避免 因為無線工作在半雙工模式下,同乙個區域內同一時刻,只能乙個裝置發包 避免同頻訊號重疊導致無法調解 csma cd 載波監聽多路訪問 衝突檢測 乙太網 裝置標稱功率為100mw,指天線在晶元中100mw的能量,一但進入空中擴散就會被...

Spark部署模式(一) Local模式

目錄 1.官方求pi案例 直接執行已打成依賴jar包中的指定class 2.編寫scala語言實現功能 3.整個spark運算的流程 4.spark中的driver和executor 5.總結spark中各種組成部分的關係 local模式就是spark執行在單節點的模式,通常用於在本機上練手和測試,...