kafka topic檢視刪除

2022-06-19 23:09:11 字數 3143 閱讀 6805

1,檢視kafka topic列表,使用--list引數

》bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

__consumer_offsets

lx_test_topic

test

2,檢視kafka特定topic的詳情,使用--topic與--describe引數

》bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe

topic:lx_test_topic partitioncount:1 replicationfactor:1 configs:

topic: lx_test_topic partition: 0 leader: 0 replicas: 0 isr: 0

列出了lx_test_topic的parition數量、replica因子以及每個partition的leader、replica資訊

3、kafka 刪除topic的命令是:

./bin/kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

如果kafaka啟動時載入的配置檔案中server.properties沒有配置delete.topic.enable=true,那麼此時的刪除並不是真正的刪除,而是把topic標記為:marked for deletion

你可以通過命令:./bin/kafka-topics --zookeeper 【zookeeper server】 --list來檢視所有topic

此時你若想真正刪除它,可以如下操作:

(1)登入zookeeper客戶端:命令:./bin/zookeeper-client

(2)找到topic所在的目錄:ls /brokers/topics

(3)找到要刪除的topic,執行命令:rmr /brokers/topics/【topic name】即可,此時topic被徹底刪除。

另外被標記為marked for deletion的topic你可以在zookeeper客戶端中通過命令獲得:ls /admin/delete_topics/【topic name】,

如果你刪除了此處的topic,那麼marked for deletion 標記消失

zookeeper 的config中也有有關topic的資訊:ls /config/topics/【topic name】暫時不知道有什麼用

總結:徹底刪除topic:

1、刪除kafka儲存目錄(server.properties檔案log.dirs配置,預設為"/tmp/kafka-logs")相關topic目錄

2、如果配置了delete.topic.enable=true直接通過命令刪除,如果命令刪除不掉,直接通過zookeeper-client 刪除掉broker下的topic即可。

4,檢視consumer group列表,使用--list引數

》bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list

console-consumer-86845

console-consumer-11967

5,檢視特定consumer group 詳情,使用--group與--describe引數

同樣根據新/舊版本的consumer,分別指定bootstrap-server與zookeeper引數:

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9292 --group lx_test --describe

group topic partition current-offset log-end-offset lag owner

lx_test lx_test_topic 0 465 465 0 kafka-python-1.3.1_/127.0.0.1

bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group console-consumer-11967 --describe

group topic partition current-offset log-end-offset lag owner

could not fetch offset from zookeeper for group console-consumer-11967 partition [lx_test_topic,0] due to missing offset data in zookeeper.

console-consumer-11967 lx_test_topic 0 unknown 465 unknown console-consumer-11967_aws-lx-1513787888172-d3a91f05-0

其中依次展示group名稱、消費的topic名稱、partition id、consumer group最後一次提交的offset、最後提交的生產訊息offset、消費offset與生產offset之間的差值、當前消費topic-partition的group成員id(不一定包含hostname)

參考:

手動刪除Kafka Topic

一 刪除kafka topic 執行.bin kafka topics delete zookeeper zookeeper server topic topic name 如果kafaka啟動時載入的配置檔案中server.properties沒有配置delete.topic.enable tru...

kafka topic 完全刪除

kafka topics.sh zookeeper 2181,2181,2181 topic test delete 此處可直接手動刪除,關閉kafka,刪除 log.dirs 配置的目錄下的相關topic檔案 或者.kafka topics.sh delete zookeeper zookeepe...

kafka之主題操作kafka topics命令

建立kafka的tiopic kafka topics.bat create zookeeper localhost 2182 replication factor 2 partitions 3 topic testmcdull222 create 建立主題 topic 主題名稱 zookeeper...