Kafka消費不到資料 消費者沒有反應

2021-10-21 06:32:36 字數 712 閱讀 2607

在做下面這個kafka測試案例時,發現消費者端接收不到資料,完全沒有反應

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

進入zookeeper客戶端,將brokers節點下的topics節點下的__consumer_offsets刪除就可(具體原因可參考這篇文章:kafka消費不到資料排查記錄)

刪除方式:

1.在啟動zookeeper的前提下,開啟./zkcli.sh

2.檢視要刪除的節點 ls /brokers/topics  並用 deleteall /brokers/topics/__consumer_offsets 對其進行刪除就可 (有關刪除命令可以參考這篇文章:kafka刪除topic時提示 command not found rmr)

然後再重啟程式就可以正常消費了

kafka學習十三 消費者消費資料

由於自動提交是每隔一段時間提交一次,假如消費者拉到一批資料,剛處理一部分就提交了,然後掛掉了,這個時候未消費的那批資料就徹底丟失了,因為offset已經提交了,不會重新消費。同樣的,消費者拉到一批資料,剛處理一部分沒有提交,然後掛掉了,這個時候已經消費的那批訊息會被再次消費。手動消費只會造成訊息重複...

kafka消費者無法消費異常

今天被乙個kafka消費異常折磨了一天,頭差點炸了,還好最後解決了它 異常 伺服器 record is corrupt 記錄損壞 不明原因 有可能磁碟空間不足導致 導致消費者無法正常消費訊息 卡在某乙個offset 不能繼續消費 解決辦法 先停掉消費者程式 殺掉程序 不可關閉kafka服務 然後手動...

kafka 主動消費 Kafka消費者的使用和原理

publicstaticvoidmain string args finally 前兩步和生產者類似,配置引數然後根據引數建立例項,區別在於消費者使用的是反序列化器,以及多了乙個必填引數 group.id,用於指定消費者所屬的消費組。關於消費組的概念在 kafka中的基本概念 中介紹過了,消費組使得...