這裡就在一台機子上做搭建,配置不同埠,多機搭建步驟基本一致
1.啟動zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
2.分別配置kafka集群中三颱伺服器的配置,這裡先複製一下原有的配置檔案,再進行修改
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
cp config/server.properties config/server-3.properties
三個配置檔案需要修改的地方如下:
server-1.properties
broker.id=1 #集群中一台伺服器的標識
listeners=plaintext: # 服務監聽的ip和埠
log.dirs=/tmp/kafka-logs-1 # 日誌檔案位置
zookeeper.connect=localhost:2181
#zookeeper伺服器的位址,這裡zookeeper沒有搭建集群,所有只有一台。如果zookeeper搭建了集群,配置就是192.168.100.1:2181,192.168.100.2:2181,192.168.100.2:2181。配置zookeeper集群中所有伺服器的位址
server-2.properties
broker.id=2
listeners=plaintext:
log.dirs=/tmp/kafka-logs-2
zookeeper.connect=localhost:2181
server-3.properties
broker.id=3
listeners=plaintext:
log.dirs=/tmp/kafka-logs-3
zookeeper.connect=localhost:2181
3.啟動三個服務,&表示後台啟動
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
bin/kafka-server-start.sh config/server-3.properties &
4.建立主題
–replication-factor 2 設定副本數為2
–partitions 4 設定分割槽數為4
bin/kafka-topics.sh --create --bootstrap-server 192.168.1.100:8082 --replication-factor 2 --partitions 4 --topic my-replicated-topic
5.檢視主題的配置資訊
同步副本的意思就是資料和leader的保持同步。
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...