Kafka常用命令總結

2021-10-01 11:20:23 字數 2404 閱讀 2344

kafka服務啟動

$kafka_home/bin/kafka-server-start.sh -daemon config/server.properties

建立topic

$kafka_home/bin/kafka-topics.sh --create --topic test0–zookeeper 127.0.0.1:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1

–topic後面的test0是topic的名稱

–zookeeper應該和server.properties檔案中的zookeeper.connect一樣

–config指定當前topic上有效的引數值

–partitions指定topic的partition數量,如果不指定該數量,預設是server.properties檔案中的num.partitions配置值

–replication-factor指定每個partition的副本個數,預設1個

列出所有topic

$kafka_home/bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

檢視topic的分割槽和副本

$kafka_home/bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test0

刪除topic

#刪除kafka的topic命令

$kafka_home/bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test0

#刪除zookeeper中該topic相關的目錄命令:

rm -r /kafka/config/topics/test0

rm -r /kafka/brokers/topics/test0

檢視topic消費的offset(偏移量)

$kafka_home/bin/kafka-run-class.sh kafka.tools.getoffsetshell --broker-list 127.0.0.1:9092 --topic test0 --time -1

修改topic的partition數量(只能增加不能減少)

$kafka_home/bin/kafka-run-class.sh kafka.tools.consumeroffsetchecker --group testgroup --topic test0 --zookeeper 127.0.0.1:2181

啟動kafka生產者

$kafka_home/bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test0

啟動kafka消費者

#從頭開始

$kafka_home/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --from-beginning

#從尾部開始

$kafka_home/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest

#指定分割槽

$kafka_home/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1

#取指定個數

$kafka_home/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1 --max-messages 1

檢視有哪些消費者group

$kafka_home/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list

檢視group詳情

$kafka_home/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --describe

刪除group

$kafka_home/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --delete

kafka 常用命令總結

1.檢視某個主題下面的訊息 bin kafka console consumer.sh bootstrap server localhost 9092 topic web douyin author from beginning 2.檢視所有主題 bin kafka topics.sh list z...

kafka常用命令

kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...

kafka常用命令

啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...