1.檢視kafka主題資訊
2.檢視主題列表
__consumer_offsets是關係偏移量的主題 kafka自己內部的主題。
3.kafka消費者啟動命令
4.kafka生產者啟動命令
kafka-console-producer.sh
\ --broker-list hdp-dn-01:9092,hdp-dn-02:9092,hdp-dn-03:9092 \
--topicflink_window_new
5.kafka檢視 consumer_offset,logsize,lag的命令列 ---檢視topic消費進度
group：消費組
topic：消費主題
pid：分割槽編碼
offset：消費的偏移量（unknown是沒有消費者消費主題）
logsize：已經寫到該分割槽的訊息數
lag：還有多少訊息未讀取（lag = logsize - offset）
owner：該分割槽建立在那個broker server上面
6.檢視消費者組的消費情況
kafka
-consumer-groups.sh
\ --bootstrap-server
hdp-dn-01:9
092,
hdp-dn-01:9
092,hdp-dn-01:9
092\
--group
test11
\ --describe
topic partition current-offset log-end-offset lag consumer-id host client-id
test123 1 624 624 0 - - -
log 1 26 26 0 - - -
log 2 26 27 1 - - -
test123 0 622 622 0 - - -
test123 2 483 483 0 - - -
log 0 27 27 0 - - -
注意看current-offset和log-end-offset還有lag，分別為當前偏移量，結束的偏移量，落後的偏移量。
spark 直連kafka自己維護偏移量所以kafka 內部不儲存便宜量：
7.檢視kafka所有消費者組
8.檢視topic中各分割槽的最大偏移量（即總資料量）。
9.kafka命令列消費資料
./kafka-console-consumer.sh --zookeeper hdp-dn-01:2181 --topic adrealtimelog1
未完待續。。。。。
kafka啟動命令,與BUG
首先啟動zookeeper 三颱機器啟動zookeeper服務 三颱機器啟動zookeeper服務 這個命令三颱機器都要執行 export install zookeeper 3.4.9 bin zkserver.sh start 檢視啟動狀態 export install zookeeper 3....
Kafka常用命令總結
kafka服務啟動 kafka home bin kafka server start.sh daemon config server.properties 建立topic kafka home bin kafka topics.sh create topic test0 zookeeper 127...
kafka控制台命令總結
1.1檢視kafka的topic列表，使用 list引數 bin kafka topics.sh zookeeper hostname ip位址 2181,hostname ip位址 2181 list eg bin kafka topics.sh zookeeper ps 01 2181,ps02...