kafka集群安裝

wget

2. 解壓

3. 修改配置檔案

vim kafka_2.12-0.10.2.1/config/server.properties

#broker.id=0  每台伺服器的broker.id都不能相同

port=9092
#hostname
host.name=10.112.29.4
#在log.retention.hours=168 下面新增下面三項
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
#設定zookeeper的連線埠
zookeeper.connect=10.112.28.245:2181,10.112.28.229:2181,10.112.28.241:2181

4. 啟動

./bin/kafka-server-start.sh -daemon config/server.properties

監控搭建：

kafka測試：

建立topic

cd kafka_2.12-0.10.2.1/bin/

./kafka-topics.sh --create --zookeeper 10.112.28.245:2181 --replication-factor 2 --partitions 1 --topic jenkin

建立broker，發布者

./kafka-console-producer.sh --broker-list 10.112.29.6:9092 --topic jenkin

建立訂閱者

./kafka-console-consumer.sh --zookeeper 10.112.28.241:2181 --topic jenkin --from-beginning

檢視topic

./kafka-topics.sh --list --zookeeper 10.112.28.245:2181

檢視topic狀態

./kafka-topics.sh --describe --zookeeper 10.112.28.245:2181 --topic jenkin

zk命令檢視

./zkcli.sh -server 10.112.28.245:2181

ls /
ls /brokers
get /brokers
get /brokers/topics

安裝kafka 集群

wget org kafka 1.0 0 kafka 2.11 1.0 0.tgz tar zxvf kafka 2.11 1.0 0.tgz vi kafka 2.11 1.0 0 config server.properties主要修改的有如下 log.dirs home data kafka ...

kafka集群安裝

請參考上一章zookeepe集群安裝 wget org kafka 0.9 0.1 kafka 2.11 0.9 0.1 tgz tar xzf kafka 2.11 0.9 0.0 tgzbroker.id 0 整個集群內唯一id號，整數，一般從0開始 listeners plaintext 1....

kafka集群安裝

kafka 是乙個分布式 的基於發布 訂閱模式的訊息佇列 messagequeue 主要應用於大資料實時處理領域。2 解壓安裝包，解壓到 usr local下面 tar zxvf kafka 2.11 0.11.0.0.tgz c usr local 解壓之後修改名稱 mv kafka 2.11 0...