搭建Kafka集群

2.解壓後複製kafka資料夾,分別命名為kafka1、kafka2、kafka3

修改config資料夾下的server.properties ，其中的brokerid是惟一的,集群中kafka伺服器配置的brokerid不能相同，相當於zookeeper的myid

zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka

說明:

這個是zookeeper集群的伺服器端口號, /kafka是在zookeeper掛載的資料夾,要自己建立zookeeper客戶端命令 create /kafka

kafka-topics.bat –create –zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka –replication-factor 1 –partitions 1 –topic test

指令說明:

–create 指定建立topic動作

–zookeeper 指定kafka連線zk的連線url，該值和server.properties檔案中的配置項一樣

–replication-factor：指定每個分割槽的複製因子個數，預設1個

–partitions：指定當前建立的kafka分割槽數量，預設為1個

–topic:設定主題名字

kafka-topics.bat –describe –zookeeper 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183/kafka –topic test

結果資訊字段含義:

1 partition： 分割槽

2 leader ： 負責讀寫指定分割槽的節點

3 replicas ： 複製該分割槽log的節點列表

4 isr ： 「in-sync」 replicas，當前活躍的副本列表（是乙個子集），並且可能成為leader

kafka-console-producer.bat –broker-list 127.0.0.1:9092 –topic test

消費者接受訊息

kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...