建立主題
./kafka-topics.sh --create --zookeeper 172.16.48.163:2181/kafka --replication-factor 2 --partitions 1 --topic test9999
--replication-factor 該主題每個分割槽的副本數,不能大於broker數量。這個副本用於備份,假設每個分割槽有2個副本,那麼只有乙個是leader負責讀寫,follower只是負責同步內容,對外提供讀寫的也是由leader提供。leader宕機follower接管成為新的leader。這裡的數量是包括leader+follwer的
--partitions 分割槽數量,控制將主題切分成多少個log。消費者數量應該和分割槽數量相等,如果超過則毫無意義。
--topic 主題名稱
刪除主題
kafka-topics.sh --delete --zookeeper 172.16.48.163:2181/kafka --topic test9999
檢視所有主題
./kafka-topics.sh --list --zookeeper 172.16.48.163:2181/kafka
檢視指定topic資訊
./kafka-topics.sh --describe --zookeeper 172.16.48.163:2181/kafka --topic bbb
partiticoncount 顯示分割槽數量一共有多少
replicationfactor 副本因子是多少
partition 分割槽編號
leader 顯示leader副本在哪個broker上,這裡是不同分割槽會有不同,表示leader在broker.id=0的伺服器上。三個分割槽每個分割槽有三個副本,分割槽編號從0開始,所以這個leader是說後面replicas副本裡面哪個是leader。leader副本提供讀寫,非leader副本只做資料備份。
replicas 顯示該partitions所有副本儲存在哪些節點上 broker.id 這個是配置檔案中設定的,它包括leader和follower節點
isr 顯示副本都已經同步的節點集合,這個集合的所有節點都是存活的,並且跟leader節點同步
平衡讀寫
kafka-preferred-replica-election.sh --zookeeper 172.16.48.163:2181/kafka
# 線上集群所有主題情況
./kafka-topics.sh --describe --zookeeper 172.16.48.163:2181/kafka
檢視消費者
./kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.190.65:9092 --list
消費者組消費情況(哪個logstash消費慢)
./kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.190.65:9092 --group logstash --describe |grep cutpay
kafka 命令列表
kafka 基於0.8.0版本的命令用法 檢視topic分布情況kafka list topic.sh bin kafka list topic.sh zookeeper 192.168.197.170 2181,192.168.197.171 2181 列出所有topic的分割槽情況 bin ka...
Kafka命令列操作
1 檢視當前伺服器中的所有topic atguigu hadoop102 kafka bin kafka topics.sh zookeeper hadoop102 2181 list2 建立topic atguigu hadoop102 kafka bin kafka topics.sh zook...
Kafka 命令列操作
1.檢視當前伺服器中的所有 topic bin kafka topics.sh zookeeper localhost 2181 list2.建立 topic bin kafka topics.sh zookeeper localhost 2181 create replication factor...