kafka集群安裝部署

wget

2.tar -zxvf kafka_2.12-2.1.0.tgz 解壓安裝包

3.備份kafka、zookeeper配置檔案

cp server.properties server.properties.bak

cp zookeeper.properties zookeeper.properties.bak

4.修改kafka配置檔案server.properties

# broker編號，每個borker保持唯一，可從1開始編號

broker.id=1

# kafka服務ip:埠

listeners=plaintext://server1:9092

# 儲存日誌檔案的目錄

log.dirs=/data/kafka/logs

# 分割槽數目，一般情況下等於broker數量

num.partitions=3

# zookeeper連線位址,將集群中的zookeeper位址配入，以逗號分開

zookeeper.connect=server1:2181,server2:2181,server3:2181

# 開啟刪除topic的開關

delete.topic.enable=true

# 動態調整topic副本因子，集群一台宕機後仍可繼續消費

offsets.topic.replication.factor=3

transaction.state.log.replication.factor=3

transaction.state.log.min.isr=2

其他配置預設即可。

5.修改zookeeper配置檔案zookeeper.properties

# 儲存快照檔案snapshot的目錄

datadir=/data/zookeeper/data

# 事務日誌輸出目錄

datalogdir=/data/zookeeper/logs

# zookeeper預設埠2181即可

clientport=2181

# 這個時間是作為 zookeeper 伺服器之間或客戶端與伺服器之間維持心跳的時間間隔，也就是每個 ticktime 時間就會傳送乙個心跳。

ticktime=2000

# 這個配置項是用來配置 zookeeper 接受客戶端（這裡所說的客戶端不是使用者連線 zookeeper 伺服器的客戶端，而是 zookeeper 伺服器集群中連線到 leader 的 follower 伺服器）初始化連線時最長能忍受多少個心跳時間間隔數。當已經超過 5個心跳的時間（也就是 ticktime）長度後 zookeeper 伺服器還沒有收到客戶端的返回資訊，那麼表明這個客戶端連線失敗。總的時間長度就是 5*2000=10 秒 initlimit=10

# 這個配置項標識 leader 與follower 之間傳送訊息，請求和應答時間長度，最長不能超過多少個 ticktime 的時間長度，總的時間長度就是5*2000=10秒 synclimit=5

# zookeeper集群通訊

server.1=server1:2888:3888

server.2=server2:2888:3888

server.3=server3:2888:3888

6.建立myid檔案，位置在zookeeper.properties下datadir

#server1

echo "1" > /data/zookeeper/data/myid

#server2

echo "2" > /data/zookeeper/data/myid

#server3

echo "3" > /data/zookeeper/data/myid

7.啟動zookeeper、kafka (bin路徑下)

./zookeeper-server-start.sh -daemon ../config/zookeeper.properties

./kafka-server-start.sh -daemon ../config/server.properties

8.測試是否可用

# 建立主題 testtopic

./kafka-topics.sh --create --zookeeper server1:2181 --replication-factor 3 --partitions 3 --topic testtopic

# 檢視所建立的topic：1中建立的topic，因為是集群，所以應該在zookeeper2上可以檢視到：

./kafka-topics.sh --zookeeper server2:2181 --list

# 建立發布者producer：在zookeeper1上建立乙個發布者

./kafka-console-producer.sh --broker-list server1:9092 --topic testtopic

# 建立消費者consumer：在zookeeper2、zookeeper3上分別建立消費者：發布者發到對應topic下的內容會被對應的消費者接收到

./kafka-console-consumer.sh --bootstrap-server server2:9092 --topic testtopic --from-beginning

./kafka-console-consumer.sh --bootstrap-server server3:9092 --topic testtopic --from-beginning

# 先關閉乙個節點的kafka再關閉其zookeeper,檢視是否正常

./kafka-server-stop.sh

./zookeeper-server-stop.sh

# 檢視指定topic資訊

./kafka-topics.sh --zookeeper server2:2181 --describe --topic testtopic

9.kafka視覺化管理工具kafka tool

kafka集群安裝部署

kafka集群安裝部署

安裝部署Kafka集群

Kafka 集群部署

kafka集群安裝部署

kafka集群安裝部署

安裝部署Kafka集群

Kafka 集群部署

相關推薦