Kafka安裝和操作命令

一:kafka的安裝

前提:安裝前需要確認zookeeper集群是否安裝ok,因為kafka需要依賴於zookeeper進行集群的管理

另外jdk環境也是必備的

2.上傳伺服器和解壓縮

上傳: 使用 rz -e 命令上傳

解壓: jar -zxvf … 命令

3.確定集群節點的部署

4.安裝

解壓後需要修改配置檔案server.properties

檔案目錄位置:在kafka安裝目錄下的config目錄中

5.修改第一台伺服器的配置檔案,重點修改加注釋的配置即可

# 指定kafka伺服器的序號從0開始,代表第一台 **broker.id=0** num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 # 指定資料的存放位置,這個logs目錄還未存在,稍後需要建立出來,具體路徑可以根據自己需要更改 log.dirs=/export/servers/kafka_2.11-0.10.0.0/logs # 指定分片數,大部分都是在建立topic中指定,所以這個配置可有可無 num.partitions=2 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.flush.interval.messages=10000 log.flush.interval.ms=1000 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 # 指定zookeeper集群的主機和埠 zookeeper.connect=node01:2181,node02:2181,node03:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0 delete.topic.enable=true # 指定該kafka伺服器的主機名,一定要跟該伺服器的主機名一致,不然該亂套了

host.name=node01

6.建立資料存放目錄,就是配置中那個還沒有建立的logs目錄

mkdir -p /export/servers/kafka_2.11-0.10.0.0/logs

7.分發安裝包到其他節點

我這裡安裝三颱伺服器

scp -r kafka_2.11-0.10.0.0/ node02:pwd

scp−

rkaf

ka2.

11−

0.10.0.0/n

ode03

:pwd scp -r kafka_2.11-0.10.0.0/ node03:

pwdscp

−rka

fka2

.11

−0.1

0.0.

0/no

de03

:pwd

8.修改第二 / 第三台伺服器的配置

注: 只需要修改伺服器的序號和主機名

# 只修改這兩個地方 #這個是第二台序號,是1,第三台序號改為2即可 broker.id=1 #這是第二台伺服器主機名node02,第三台設定為node03,具體還是根據你的主機名來設定

host.name=node02

二:啟動集群

建議後台啟動:

命令:每一台伺服器都在安裝目錄下執行這個命令(除非配置了環境變數)

nohup bin/kafka-server-start.sh config/server.properties 2>&1 &

停止命令:

bin/kafka-server-stop.sh

檢視命令:

jps三:cli視窗操作kafka

1.建立topic,這裡指定分片數為3,副本數為2,topic主題名稱是test