kafka集群安裝

2022-07-26 06:39:10 字數 1623 閱讀 6453

kafka是分布式的,需要多台機器,並且保證機器之間是免密登入,同時需要用zookeeper集群負責管理

2、brokers節點分配,注意一定是奇數臺節點

3、解壓並軟鏈

tar -zxvf /software/kafka_2.11-0.11.0.3.tgz

ln -sf kafka_2.11-0.11.0.3/ kafka

4、配置server.properties

vim /software/kafka/config/server.properties

修改如下內容

broker.id=0注意:這裡要唯一的integer型別

port=9092kafka寫入資料的埠

log.dirs=/opt/data/kafka-logs 真實資料儲存的位置

zookeeper.connect=node1:2181,node2:2181,node3:2181 zookeeper集群

5、節點保持一致

將kafka整個檔案分發到其他節點或者其他方式保證配置一致(除broker.id)

其他節點的server.properties的broker.id

順序分別為1,2等等

6、可以建立乙個kafka集群啟動指令碼

在每台節點某個路徑下建立startkafka.sh指令碼

vim startkafka.sh

內容如下

nohup bin/kafka-server-start.sh config/server.properties > kafkalog.txt 2>&1 &注意:以上路徑可以寫全路徑,可以在不同路徑中,寫全路徑中執行startkafak.sh

chmod +x ./startkafka.sh 修改許可權

在每台節點中啟動kafka,/software/kafka/startkafka.sh

jps檢視kafka是否啟動,jps有kafka程序就可以

7、啟動

先啟動zk集群,然後執行編寫的kafka啟動指令碼

kafka檢視全部topic/建立

...路徑/kafka/bin/kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --list/create

kafka詳細檢視某個topic

...路徑/kafka/bin/kafka-topics.sh --describe --zookeeper node1:2181,node2:2181,node3:2181 --topic topic_name

kafka命令消費

...路徑/kafka/bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --from-beginning --topic topic_name

消費組,檢視

...路徑/kafka/bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --group topic_name --describe

安裝kafka 集群

wget org kafka 1.0 0 kafka 2.11 1.0 0.tgz tar zxvf kafka 2.11 1.0 0.tgz vi kafka 2.11 1.0 0 config server.properties主要修改的有如下 log.dirs home data kafka ...

kafka集群安裝

請參考上一章zookeepe集群安裝 wget org kafka 0.9 0.1 kafka 2.11 0.9 0.1 tgz tar xzf kafka 2.11 0.9 0.0 tgzbroker.id 0 整個集群內唯一id號,整數,一般從0開始 listeners plaintext 1....

kafka集群安裝

kafka 是乙個分布式 的基於發布 訂閱模式的訊息佇列 messagequeue 主要應用於大資料實時處理領域。2 解壓安裝包,解壓到 usr local下面 tar zxvf kafka 2.11 0.11.0.0.tgz c usr local 解壓之後修改名稱 mv kafka 2.11 0...