kafka集群安裝(獨立zookeeper集群)

2021-07-24 14:43:17 字數 2339 閱讀 3516

1 集群環境

192.168.100.200

192.168.100.201

192.168.100.202

2 按照步驟

[root@localhost local]# tar -zxvf kafka_2.11-0.10.1.0.tgz

[root@localhost local]# cd kafka_2.11-0.10.1.0/

[root@localhost kafka_2.11-0.10.1.0]# mkdir logs

[root@localhost kafka_2.11-0.10.1.0]# cd config/

[root@localhost config]# vi server.properties

broker.id=0

listeners=plaintext:

advertised.listeners=plaintext:

log.dirs=/usr/local/kafka_2.11-0.10.1.0/logs/

zookeeper.connect=192.168.100.200:2181,192.168.100.201:2181,192.168.100.202:2181

[root@localhost local]# scp -r /usr/local/kafka_2.11-0.10.1.0 192.168.100.201:/usr/local/

[root@localhost local]# scp -r /usr/local/kafka_2.11-0.10.1.0 192.168.100.202:/usr/local/

在其它兩個節點上修改

broker.id=1

listeners=plaintext:

advertised.listeners=plaintext:

broker.id=2

listeners=plaintext:

advertised.listeners=plaintext:

啟動(每乙個節點)

[root@localhost kafka_2.11-0.10.1.0]# bin/kafka-server-start.sh -daemon /usr/local/kafka_2.11-0.10.1.0/config/server.properties &

[root@localhost kafka_2.11-0.10.1.0]# jps

程序名為kafka

3 驗證

建立乙個主題wangyl,備份3,分割槽2

[root@localhost kafka_2.11-0.10.1.0]# bin/kafka-topics.sh --create --topic wangyl  --replication-factor 3 --partitions 2 --zookeeper 192.168.100.200:2181

檢視主題

[root@localhost kafka_2.11-0.10.1.0]# bin/kafka-topics.sh --list --zookeeper 192.168.100.200:2181

生產消費模式驗證

生產端[root@localhost kafka_2.11-0.10.1.0]# bin/kafka-console-producer.sh --broker-list 192.168.100.200:9092 --sync --topic wangyl

消費端[root@localhost kafka_2.11-0.10.1.0]# bin/kafka-console-consumer.sh --zookeeper 192.168.100.200:2181 --topic  wangyl --from-beginning

列出該主題的詳細資訊

[root@localhost kafka_2.11-0.10.1.0]# bin/kafka-topics.sh --describe --zookeeper 192.168.100.200:2181 --topic wangyl

安裝kafka 集群

wget org kafka 1.0 0 kafka 2.11 1.0 0.tgz tar zxvf kafka 2.11 1.0 0.tgz vi kafka 2.11 1.0 0 config server.properties主要修改的有如下 log.dirs home data kafka ...

kafka集群安裝

請參考上一章zookeepe集群安裝 wget org kafka 0.9 0.1 kafka 2.11 0.9 0.1 tgz tar xzf kafka 2.11 0.9 0.0 tgzbroker.id 0 整個集群內唯一id號,整數,一般從0開始 listeners plaintext 1....

kafka集群安裝

kafka 是乙個分布式 的基於發布 訂閱模式的訊息佇列 messagequeue 主要應用於大資料實時處理領域。2 解壓安裝包,解壓到 usr local下面 tar zxvf kafka 2.11 0.11.0.0.tgz c usr local 解壓之後修改名稱 mv kafka 2.11 0...