1.啟動kafka
kafka-server-start.sh -daemon /kafka/config/server.properties
2.停止kafka
kafka-server-stop.sh
3.建立topic
topic名是clotho,分割槽6個,副本3個
kafka-topics.sh --bootstrap-server localhost:9092 --topic clotho --create --partitions 6 --replication-factor 3
4.刪除topic
topic名是clotho
kafka-topics.sh --bootstrap-server localhost:9092 --topic clotho --delete
5.列出所有topic
kafka-topics.sh --bootstrap-server localhost:9092 --list
6.顯示所有topic的狀態資訊
kafka-topics.sh --bootstrap-server localhost:9092 --describe
7.顯示指定topic的狀態資訊
topic名是clotho
kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic clotho
8.監聽topic
只顯示開始監聽後新接收的資料
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic clotho
顯示歷史資料(從第一條資料開始)和新接收的資料
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic clotho --from-beginning
9.列出所有消費組
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
10.顯示指定消費組的狀態資訊
kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group sinensis --describe
11.壓測生產資料
kafka-producer-perf-test.sh bootstrap.servers=localhost:9092 --topic clotho --num-records 100000 --record-size 1000 --throughput 2000
引數:引數
說明messages
生產者傳送總的訊息數量
message-size
每條訊息大小
batch-size
每次批量傳送訊息的數量
topics
生產者傳送的topic
threads
生產者使用幾個執行緒同時傳送
broker-list
安裝kafka服務的機器ip:port列表
producer-num-retries
乙個訊息失敗傳送重試次數
request-timeout-ms
乙個訊息請求傳送超時時間
12.壓測消費資料
kafka-consumer-perf-test.sh bootstrap.servers=localhost:9092 --topic clotho fetch-size 1048576 --messages 100000 --threads 3
引數:引數
說明zookeeper
zookeeper埠配置
messages
消費者消費訊息總數量
topic
消費者需要消費的topic
threads
消費者使用幾個執行緒同時消費
group
消費者組名稱
socket-buffer-sizesocket
緩衝大小
fetch-size
每次向kafka broker請求消費大小
consumer.timeout.ms
消費者去kafka broker拿去一條訊息超時時間
參考資料:
kafka常用命令
kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...
kafka常用命令
啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...
Kafka 常用命令
kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...