我在一次使用kafka過程中，使用spring的kafka包。
org.springframework.kafka
spring-kafka
2.0.5.release
org.apache.kafka
kafka_2.10
產生的原因：因為生產者在發訊息時，指定zk引數，consumer的資訊都存在zk中，而spring-kafka配置的bootstrap.server是broker.list的位址，不是zk集群位址，並且這個包沒有提供zk集群的配置方式。換成org.apache.kafka這個包後，配置zookeeper.connect為zk集群位址即可。
clickhouse消費kafka訊息
目錄 整體思路 知識點實施過程 一 kafka console consumer.sh 檢視topic訊息結構 二 clickhouse建立kafka引擎表 三 clickhouse建立merge引擎表 與roomchangedinfo kafka對應結構 四 建立物化檢視 這裡物化檢視起觸發器作用...
kafka消費者無法消費異常
今天被乙個kafka消費異常折磨了一天，頭差點炸了，還好最後解決了它 異常 伺服器 record is corrupt 記錄損壞 不明原因 有可能磁碟空間不足導致 導致消費者無法正常消費訊息 卡在某乙個offset 不能繼續消費 解決辦法 先停掉消費者程式 殺掉程序 不可關閉kafka服務 然後手動...
Kafka 訊息丟失和訊息重複消費
producer 的acks引數值設定為 0 或者 1 不等待伺服器確認或者只讓leader確認解決方法 將acks的值設定為all或者 1，讓leader和followers全部進行確認 producer 沒有設定失敗重試解決方法 根據實際場景將retries引數值設定為正整數 consumerp...