Kafka命令實操

2021-10-06 15:21:27 字數 2173 閱讀 6590

如果對kafka基本概念不了解，建議先學習一下一些名詞的含義：

附上：kafka入門和高階

建立主題（建立了乙個test主題）：

bin/kafka-topics.sh --create --zookeeper 虛擬機器ip:2181 --replication-factor 2 --partitions 1 --topic test
注：建立主題時副本數要小於broker數

檢視主題：

bin/kafka-topics.sh --list --zookeeper 虛擬機器ip:2181
顯示主題的詳細資訊
bin/kafka-topics.sh --describe --zookeeper 虛擬機器ip:2181 --topic test
建立乙個broker，發布者
bin/kafka-console-producer.sh --broker-list 虛擬機器ip:9092 --topic test
建立乙個consumer， 消費者
bin/kafka-console-consumer.sh --bootstrap-server 虛擬機器ip:9092 --topic test --


from


-beginning
刪除主題：

前提條件： 在啟動broker時候開啟刪除topic的開關，即在server.properties中新增：

delete.topic.enable=true
執行命令：

bin/kafka-topics.sh --delete --zookeeper 虛擬機器ip:2181 --topic test

若想真正刪除它，可以如下操作：

（1）登入zookeeper客戶端的命令：

/usr/local/zookeeper/apache-zookeeper-3.5.6-bin/bin/zkcli.sh
（2）找到topic所在的目錄：

ls


/brokers/topics
（3）刪除topic，執行命令，此時topic被徹底刪除：

deleteall /brokers/topics/topic名稱
讀取offset：

（1）修改配置檔案 consumer.properties

consumer.properties exclude.internal.topics=false
（2）讀取 offset

0.11.0.0 之前版本:

bin/kafka-console-consumer.sh --topic __consumer_offsets -zookeeper 虛擬機器ip:2181 --formatter "kafka.coordinator.groupmetadatamanager\$offsetsmessageformatter"


--consumer.config config/consumer.properties --


from


-beginning
0.11.0.0 之後版本(含)：

bin/kafka-console-consumer.sh --topic __consumer_offsets -zookeeper 虛擬機器ip:2181 --formatter "kafka.coordinator.group.groupmetadatamanager\$offsetsmessageform atter"


--consumer.config config/consumer.properties --frombeginning
消費者組：

（1）修改配置檔案 consumer.properties

group


.id=組名
注：不同伺服器下加入同乙個組時每個伺服器都需要修改

（2）建立消費者

bin/kafka-console-consumer.sh -bootstrap-server 虛擬機器ip:9092 --topic test --consumer.config config/consumer.properties

kafka 企業級kafka實操

kafka實際操作管理 1.檢視topic 2.kafka幫助 kafka topics help 3.demo建立topic 4.寫topic 5.消費topic 6.刪除topic 這個可能比較複雜集群搜尋 log.dirs 然後節點資料在 var local kafka data kafka每...

Linux實操命令

vi命令 3.vi 檔案後 set nu 則顯示檔案的行號 4.vi 檔案後 g是跳到檔案尾部 gg是跳到首行 nohup 不結束通話地執行命令 關閉終端 1.nohup command 2.在當前終端介面檢視執行的後台程序 jobs l 3.關閉終端重新開啟終端檢視執行的後台程序 ps ef gr...

Linux基礎命令實操

來個操作嚇嚇你 提問 這是個啥,這個鍵盤是幹啥的 是vi vim的快捷鍵 vi是用來操作和編輯檔案的,又因為linux是萬事萬物皆檔案,所以可見這個操作重要性 vim是vi的加強版,也同樣重要 想要操作乙個檔案首先要開啟它,在linux系統中開啟終端,輸入如下 vim 檔名.副檔名這句話的意思就是如...