kafka-server-stop.sh
topic的新增和修改使用下面命令
bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic my_topic_name --partitions 20 --replication-factor 3 --config x=y
副本(replication)j控制每條訊息在伺服器中的備份,如果有3個副本,那麼允許最多有2個節點宕機才能不丟資料,集群中推薦設定2或3個副本,才不會中斷資料消費。
例如,建立topic帶有4個分割槽,2個副本
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test
新增分割槽:
bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --partition 40
新增分割槽不能改變現有的資料,如果分割槽被使用中,這就可能擾亂消費者。如果資料通過雜湊劃分,那麼該分割槽將通過新增分割槽進行洗牌,但kafka不以任何方式自動分配資料。
新增配置:
bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --config x=y
移除配置:
bin/kafka-topics.sh --zookeeper zk_host:port/chroot --alter --topic my_topic_name --deleteconfig x=y
刪除topic:
bin/kafka-topics.sh --zookeeper zk_host:port/chroot --delete --topic my_topic_name
主題刪除選項預設是關閉的,設定伺服器配置開啟它。
delete.topic.enable=true
kafka-topics.sh --list --zookeeper localhost:2181
bin/kafka-topics.sh --describe --zookeeper localhost:2181--topic my-replicated-topic
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test --producer.config config/producer.properties
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --new-consumer --from-beginning --consumer.config config/consumer.properties
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config config/consumer.properties
注:「--new-consumer」已經不能使用啦
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
bin/kafka-run-class.sh kafka.tools.consumeroffsetchecker --zkconnect localhost:2181 --group test
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group test-consumer-group
kafka消費者查詢出錯:
kafka常用命令
kafka常用操作命令 l檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper hadoop02 2181 l建立topic kafka topics.sh create zookeeper hadoop02 2181 replication fac...
kafka常用命令
啟動集群 nohup bin kafka server start.sh config server.properties 建立topic kafka topics topictt replication factor3 partitions3 create zookeeper hadoop1 21...
Kafka 常用命令
kafka console producer broker list 127.0.0.1 9092 topic mytopic kafka console consumer bootstrap server 127.0.0.1 9092 topic mytopic 建立主題,replication ...