Kafka日記(七)Kafka 客戶端常用命令

2021-09-13 18:40:42 字數 1415 閱讀 3509

//建立topic

bin/kafka-topics.sh --create --zookeeper 192.168.0.3:2181 --topic test --replication-factor 3 --partitions 3

//生產者生產訊息

bin/kafka-console-producer.sh --borker-list 192.168.0.3:9092 --topic test

//消費topic

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.3:9092 --topic test --from-beginning

//消費者列表

bin/kafka-topics.sh --list --zookeeper 192.168.0.3:2181

//topic分割槽和備份情況

bin/kafka-topics.sh --zookeeper 192.168.0.3:2181 --topic test --describe

//組列表

bin/kafka-consumer-groups.sh --list --bootstrap-server 192.168.0.3:9092

//組消費詳情

bin/kafka-consumer-groups.sh --bootstrap-server 192.168.0.3:9092 --group consumer-group-test --describe

//壓力測試 生成訊息

bin/kafka-producer-perf-test.sh --topic test9 --throughput 1000 --num-records 100000 --record-size 100 --producer.config config/producer.properties --producer-props bootstrap.servers=192.168.0.3:9092 acks=-1

//重置消費者組offset

bin/kafka-consumer-groups.sh --bootstrap-server 192.168.0.3:9092,192.168.0.4:9092,192.168.0.5:9092 --group comsumer-group-dingdanjiesuan --topic dingdanjiesuan --execute --reset-offsets --to-offset 0

//增加分割槽

bin/kafka-topics.sh --zookeeper 192.168.0.3:2181 -alter --partitions 10 --topic test

//開啟服務

bin/kafka-server-start.sh config/server.properties &

kafka(七) 訊息格式

1 乙個kafka的message由乙個固定長度的header和乙個變長的訊息體body組成 2 header部分由乙個位元組的magic 檔案格式 和四個位元組的crc32 用於判斷body訊息體是否正常,是否丟包,資料不一樣crc32算出來的數字也是不一樣的 構成。當magic的值為1的時候,會...

七 kafka常用操作命令

nohup bin kafka server start.sh config server.properties 檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper node1 2181 建立topic bin kafka topics.sh cr...

Kafka 單機kafka部署

1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...