kafka常用命令詳解

kafka-broker-list：node21:9092,node22:9092,node23:9092

zookeeper.connect-list： node21:2181,node22:2181,node23:2181

所有zookeeper節點都需要執行

zkserver.sh start

所有kafka節點都需要執行

bin/kafka-server-start.sh config/server.properties &

bin/kafka-topics.sh --zookeeper node21:2181,node22:2181,node23:2181 --list

bin/kafka-topics.sh --zookeeper node21:2181,node22:2181,node23:2181 --topic lx_test_topic --describe topic: lx_test_topic partitioncount:3 replicationfactor:3 configs: topic: lx_test_topic partition: 0 leader: 0 replicas: 0,1,2 isr: 0,2,1 topic: lx_test_topic partition: 1 leader: 1 replicas: 1,2,0 isr: 1,2,0

topic: lx_test_topic partition: 2 leader: 2 replicas: 2,0,1 isr: 2,0,1

第一行：partitioncount：分割槽數， replicationfactor：副本數===topic為：lx_test_topic設定了3個分割槽數和3個副本數

第二行以下：partition：當前分割槽號，leader：領導者所在的broker.id節點，replicas：副本所在的broker.id節點列表，isr：副本複製成功的broker.id節點列表

總體表述就是：

kafka集群一共三個節點，lx_test_topic這個topic, 編號為0的partition,leader在broker.id=0這個節點上，副本在broker.id為0 1 2這個三個節點，並且所有副本都存活，並跟broker.id=0這個節點同步

bin/kafka-topics.sh --zookeeper node21:2181,node22:2181,node23:2181 --replication-factor 3 --partitions 3 --topic testtopic --create

選項說明：

--topic 定義topic名

--replication-factor 定義副本數

--partitions 定義分割槽數

生產者 bin/kafka-console-producer.sh --broker-list node21:9092,node22:9092,node23:9092 --topic testtopic 新生產者（支援0.9版本+）

bin/kafka-console-producer.sh --broker-list node21:9092,node22:9092,node23:9092 --topic testtopic --producer.config config/producer.properties

消費者列表 bin/kafka-consumer-groups.sh --zookeeper node21:2181,node22:2181,node23:2181 --list 新消費者列表（支援0.9版本+）

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server node21:9092,node22:9092,node23:9092 --list

消費組詳情 bin/kafka-consumer-groups.sh --zookeeper node21:2181,node22:2181,node23:2181 --group lx_test --describe 新消費組的消費詳情（支援0.9版本+）

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server node21:9092,node22:9092,node23:9092 --group test-consumer-group --describe

標記解釋：
topic
partition
current-offset
log-end-offset
lag
consumer-id
host
client-id
topic名字

分割槽id

當前已消費的條數

總條數未消費的條數

消費id

主機ip

客戶端id

bin/kafka-console-consumer.sh --bootstrap-server node21:9092,node22:9092,node23:9092 --topic mytest --consumer-property group.id=group_mytes

消費者 bin/kafka-console-consumer.sh --zookeeper node21:2181,node22:2181,node23:2181 --from-beginning --group lx_test --topic test 新消費者（支援0.9版本+）

bin/kafka-console-consumer.sh --new-consumer --bootstrap-server node21:9092,node22:9092,node23:9092 --group test-consumer-group --topic test --from-beginning --consumer.config config/consumer.properties

設定為最初偏移量 bin/kafka-consumer-groups.sh --bootstrap-server node21:9092,node22:9092,node23:9092 --group test-consumer-group --topic test --reset-offsets --to-earliest –execute 設定任意偏移量 bin/kafka-consumer-groups.sh --bootstrap-server node21:9092,node22:9092,node23:9092 --group test-consumer-group --topic test --reset-offsets --to-offset 3 –execute 設定最近偏移量

bin/kafka-consumer-groups.sh --bootstrap-server node21:9092,node22:9092,node23:9092 --group test-consumer-group --topic test --reset-offsets --to-latest --execute

bin/kafka-preferred-replica-election.sh --zookeeper zk_host:port/chroot

bin/kafka-producer-perf-test.sh --topic test --num-records 100 --record-size 1 --throughput 100  --producer-props bootstrap.servers=localhost:9092

kafka常用命令詳解

kafka常用命令

kafka常用命令

Kafka 常用命令

相關推薦