Kafka常用命令

2021-09-25 03:46:54 字數 2338 閱讀 7029

kafka-server-stop.sh 

topic的新增和修改使用下面命令

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic my_topic_name --partitions 20 --replication-factor 3 --config x=y

副本(replication)j控制每條訊息在伺服器中的備份,如果有3個副本,那麼允許最多有2個節點宕機才能不丟資料,集群中推薦設定2或3個副本,才不會中斷資料消費。

例如,建立topic帶有4個分割槽,2個副本

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test

新增分割槽:

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --partition 40

新增分割槽不能改變現有的資料,如果分割槽被使用中,這就可能擾亂消費者。如果資料通過雜湊劃分,那麼該分割槽將通過新增分割槽進行洗牌,但kafka不以任何方式自動分配資料。

新增配置:

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --config x=y

移除配置:

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --deleteconfig x=y

刪除topic:

bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name

主題刪除選項預設是關閉的,設定伺服器配置開啟它。

delete.topic.enable=true

kafka-topics.sh --list --zookeeper localhost:2181

bin/kafka-topics.sh --describe --zookeeper localhost:2181--topic my-replicated-topic

bin/kafka-topics.sh --describe --zookeeper localhost:2181  --topic my-replicated-topic
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test  --from-beginning --consumer.config config/consumer.properties

注:「--new-consumer」已經不能使用啦

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list

bin/kafka-consumer-groups.sh  --bootstrap-server localhost:9092 --list

bin/kafka-run-class.sh kafka.tools.consumeroffsetchecker --zkconnect localhost:2181 --group test

bin/kafka-consumer-groups.sh  --bootstrap-server localhost:9092 --describe --group test-consumer-group

kafka消費者查詢出錯:

kafka常用命令

kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...

kafka常用命令

啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...

Kafka 常用命令

kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...