進入kafka的安裝目錄,不知道安裝目錄的可以用命令ps -ef|grep kafka
來檢視,我的目錄是/usr/local/kafka
檢視埠,進入conf資料夾
kafkaserver.properties
啟動與停止
在啟動server
topic
徹底刪除topic
如果需要被刪除topic 此時正在被程式 produce和consume,則這些生產和消費程式需要停止
因為如果有程式正在生產或者消費該topic,則該topic的offset資訊一致會在broker更新。呼叫kafka delete命令則無法刪除該topic。
同時,需要設定server.properties
的auto.create.topics.enable=false
,預設設定為true。如果設定為true,則produce或者fetch 不存在的topic也會自動建立這個topic。這樣會給刪除topic帶來很多意向不到的問題。
所以,這一步很重要,必須設定auto.create.topics.enable = false,並認真把生產和消費程式徹底全部停止。
server.properties
設定delete.topic.enable=true
, 如果沒有設定 delete.topic.enable=true,則呼叫kafka 的delete命令無法真正將topic刪除,而是顯示(marked for deletion)
重啟zookeeper和server,然後呼叫命令/usr/local/kafka/bin/kafka-topics.sh --delete --zookeeper localhost:2182 --topic test
刪除topic
刪除kafka儲存目錄(server.properties檔案log.dirs配置,預設為"/tmp/kafka-logs")相關topic的資料目錄。
注意:如果kafka 有多個 broker,且每個broker 配置了多個資料盤(比如 /tmp/kafka-logs,/tmp1/kafka-logs ...),且topic也有多個分割槽和replica,則需要對所有broker的所有資料盤進行掃瞄,刪除該topic的所有分割槽資料。
(僅在測試環境這樣用,因為刪掉所有資料了)如果上面還不行,就刪掉/tmp/kafka-logs
和/tmp/zookeeper/
下的資料(謹慎使用)
測試建立消費者(在b視窗)可能由於kafka版本不同,命令引數可能不同,可以使用bin/kafka-console-consumer.sh --topic test 看下
kafka 後台啟動 Kafka的安裝與啟動
安裝 在mac上可以使用brew install kafka進行kafka的安裝,在安裝kafka時,會自動檢測有無zookpeer,如果沒有的話也會安裝乙個。啟動kafka 啟動kafka,首先要確保啟動zookpeer.進入kafka安裝目錄的bin目錄下執行 zookeeper server ...
Kafka安裝與測試
tar zxf kafka 2.11 2.1.0.tgz c usr local sudo mv usr local kafka 2.11 2.1.0.tgz usr local kafka sudo chown r hadoop usr local kafka 啟動zookeeper cd usr...
kafka安裝與測試
基於linux centos7.0環境先進行測試學習 producer即生產者,向kafka集 送訊息,在傳送訊息之前,會對訊息進行分類,即topic,topic即主題,通過對訊息指定主題可以將訊息分類,消費者可以只關注自己需要的topic中的訊息 consumer即消費者,消費者通過與kafka集...