Kafka常用命令

2022-09-06 09:42:11 字數 2543 閱讀 2554

1.啟動kafka

kafka-server-start.sh -daemon /kafka/config/server.properties

2.停止kafka

kafka-server-stop.sh

3.建立topic

topic名是clotho,分割槽6個,副本3個

kafka-topics.sh --bootstrap-server localhost:9092 --topic clotho --create --partitions 6 --replication-factor 3

4.刪除topic

topic名是clotho

kafka-topics.sh --bootstrap-server localhost:9092 --topic clotho --delete

5.列出所有topic

kafka-topics.sh --bootstrap-server localhost:9092 --list

6.顯示所有topic的狀態資訊

kafka-topics.sh --bootstrap-server localhost:9092 --describe

7.顯示指定topic的狀態資訊

topic名是clotho

kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic clotho

8.監聽topic

只顯示開始監聽後新接收的資料

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic clotho

顯示歷史資料(從第一條資料開始)和新接收的資料

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic clotho --from-beginning

9.列出所有消費組

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

10.顯示指定消費組的狀態資訊

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group sinensis --describe

11.壓測生產資料

kafka-producer-perf-test.sh bootstrap.servers=localhost:9092 --topic clotho --num-records 100000 --record-size 1000 --throughput 2000

引數:引數

說明messages               

生產者傳送總的訊息數量

message-size

每條訊息大小

batch-size

每次批量傳送訊息的數量

topics

生產者傳送的topic

threads

生產者使用幾個執行緒同時傳送

broker-list 

安裝kafka服務的機器ip:port列表

producer-num-retries

乙個訊息失敗傳送重試次數

request-timeout-ms

乙個訊息請求傳送超時時間

12.壓測消費資料

kafka-consumer-perf-test.sh bootstrap.servers=localhost:9092 --topic clotho fetch-size 1048576 --messages 100000 --threads 3

引數:引數

說明zookeeper              

zookeeper埠配置

messages

消費者消費訊息總數量

topic

消費者需要消費的topic

threads

消費者使用幾個執行緒同時消費

group

消費者組名稱

socket-buffer-sizesocket

緩衝大小

fetch-size 

每次向kafka broker請求消費大小

consumer.timeout.ms

消費者去kafka broker拿去一條訊息超時時間

參考資料:

kafka常用命令

kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...

kafka常用命令

啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...

Kafka 常用命令

kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...