kafka資料已消費，offset無變化問題

2021-10-10 16:48:06 字數 631 閱讀 1063

flink 資料來源是kafka，資料正常消費，但是kafka使用命令檢視消費情況

./bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group my-group
發現current-offset無變化，lag仍在不斷增加，重啟kafka無效。

先停掉全部問題group的消費者程式，不然會出現以下錯誤：

error: assignments can only be reset if the group 'my-group' is inactive, but the current state is stable.
殺掉程序（不可關閉kafka服務）

手動設定問題topic的偏移量 跳過卡在的offset位置

./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group my-group --reset-offsets --to-offset 25982449 --topic my-topic --execute
再啟動消費程式發現一切正常！

storm實時消費kafka資料

原創 2017年06月05日 16 30 15 程式的pom.xml檔案 org.apache.stormgroupid storm coreartifactid 1.0.2version providedscope dependency org.apache.stormgroupid storm ...

Python指令碼消費kafka資料

一 簡介 詳見 二 安裝 詳見部落格 三 按照官網的樣例，先跑乙個應用 1 生產者 from kafka import kafkaproducer producer kafkaproducer bootstrap servers 172.21.10.136 9092 此處ip可以是多個 0.0.0....

Python指令碼消費kafka資料

一 簡介 詳見 二 安裝 詳見部落格 三 按照官網的樣例，先跑乙個應用 1 生產者 from kafka import kafkaproducer producer kafkaproducer bootstrap servers 172.21.10.136 9092 此處ip可以是多個 0.0.0....