快速搭建kafka集群

2021-09-30 01:44:13 字數 1486 閱讀 9095

先安裝jdkzookeeper

修改配置檔案,進入config目錄修改server.properties檔案:

第21行:broker.id=1,每個節點配置乙個編號,保證每個節點的編號在集群裡面是唯一的。

第31行:listeners=plaintext:,開啟註解配置機器的ip和埠號,預設9092。

第36行:advertised.listeners=plaintext:開啟註解配置機器的ip和埠號,預設9092。

第60行:log.dirs=/tmp/kafka-logs配置日誌路徑

第123行:zookeeper.connect=192.168.43.110:2181,192.168.43.111:2181,192.168.43.112:2181配置zookeeper集群位址

先啟動zookeeper集群。

在每個kafka所在bin目錄執行以下命令進行後台啟動

./kafka-server-start.sh -daemon ../config/server.properties輸入jps命令檢視kafka是否正常啟動。

建立topic

./kafka-topics.sh --create --zookeeper 192.168.43.110:2181 --replication-factor 3 --partitions 3 --topic testkafka
–replication-factor 3 #複製3份

–partitions 3 #建立3個分割槽

–topic #主題名稱

在一台伺服器上建立乙個發布者

./kafka-console-producer.sh --broker-list 192.168.43.110:9092 --topic testkafka
在一台伺服器上建立乙個消費者

./kafka-console-consumer.sh --bootstrap-server 192.168.43.110:9092 --topic testkafka --from-beginning
檢視topic

./kafka-topics.sh --list --zookeeper 192.168.43.110:2181
檢視topic狀態

./kafka-topics.sh --describe --zookeeper 192.168.43.110:2181 --topic testkafka

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...