刪除topic裡面的資料

2021-09-25 06:57:53 字數 1178 閱讀 4115

這裡沒有單獨的清空資料的命令,這裡要達到清空資料的目的只需要以下步驟:

一、如果當前topic沒有使用過即沒有傳輸過資訊:可以徹底刪除。 二、

如果當前topic有使用過即有過傳輸過資訊:並沒有真正刪除topic只是把這個topic標記為刪除(marked for deletion)。想要徹底刪除topic資料要經過下面兩個步驟:

①:刪除topic,重新用建立topic語句進行建立topic

②:刪除zookeeper中的consumer中的路徑。    

這裡假設要刪除的topic是test,kafka的zookeeper root為/kafka

刪除kafka相關的資料目錄

資料目錄請參考目標機器上的kafka配置:server.properties -> log.dirs=/var/kafka/log/tmp

rm -r /var/kafka/log/tmp/test*

刪除kafka topic

./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --delete --topic kfk

刪除zookeeper相關的路徑

(1)登入zookeeper客戶端:命令:./bin/zookeeper-client

(2)找到topic所在的目錄:ls /brokers/topics

(3)找到要刪除的topic,執行命令:rmr /brokers/topics/【topic name】即可,此時topic被徹底刪除。

另外被標記為marked for deletion的topic你可以在zookeeper客戶端中通過命令獲得:ls /admin/delete_topics/【topic name】,如果你刪除了此處的topic,那麼marked for deletion 標記消失

完成

重啟zookeeper和kafka可以用下面命令檢視相關的topic還在不在:

/home/kafka/bin/kafka-topics.sh --list --zookeeper hadoopmaster:2181/kafka

刪除ES索引裡面的資料 dark matter

開發之前把介面日誌寫入es時,感覺設計並不合理。當然,我也不知道怎麼設計才是合理的。總之,就是無法像處理openresty日誌那樣,按天生成1個es索引,這樣就可以簡單匹配月份,直接刪除整個月的索引資料了。但是,現在所有介面日誌寫入進1個索引裡。我想刪除幾百天,比如200天前的資料,研究了好久。下面...

kafka刪除topic資料

生產環境中,有乙個topic的資料量非常大。這些資料不是非常重要,需要定期清理。要求 預設保持24小時,某些topic 需要保留2小時或者6小時 主要有3個 1.基於時間 2.基於日誌大小 3.基於日誌起始偏移量 接下來,主要介紹基於時間的清除!kafka版本為 2.11 1.1.0 zk版本為 3...

徹底刪除topic

1 刪除kafka儲存目錄 server.properties檔案log.dirs配置,預設為 tmp kafka logs 相關topic目錄 2 kafka 刪除topic的命令是 bin kafka topics delete zookeeper zookeeper server topic ...