kafka - 2.5
kafka測試**位址
producer
consumer
因為是單執行緒模型，當處理接收到的返回訊息時是不能傳送心跳
執行緒不安全
乙個partition只能分配給乙個consumer，乙個consumer可以處理多個partition
新版本的將kafka consumer的消費位置儲存在了「__consumer_offsets」的內部topic
消費者offset提交
kafka rebalance
舊方案，zookeeper 監控與通知
新方案分割槽的分配操作放在了consumer端
資料流資料流可以分為四種不同的型別
coordinator 與 transaction log 互動
producer寫入訊息到目標topic的partition
事務協調器與目標topic的partition互動
第二階段，協調者將提交到主題分割槽的資料標記為事務已提交
事務實戰
消費者事務執行， 不會有明顯的效能損壞
參考
kafka原始碼 Kafka生產者原始碼分析
我們kafka原始碼的doc文件拿下來乙個demo,這個demo用於向服務端傳送訊息，從這個例子我們可以知道傳送訊息是通過生產者的kafkaproducer來完成的，這一篇文章將先完成kafkaproducer的分析 properties props new properties props.put...
Kafka生產者原始碼解析
1.生產者客戶端如何獲取要生產資料的topic元資料 2.生產者如何組裝訊息 3.生產者組裝好訊息後是直接傳送到broker端嗎？4.訊息是如何傳送到broker端的呢？5.生產者中，如果配置了訊息壓縮策略，同時服務端也配置了壓縮策略，並且兩個地方設定的策略不同，那採用哪個策略呢？6.如果多個客戶端...
Kafka消費者生產者例項
它允許發布和訂閱記錄流，類似於訊息佇列或企業訊息傳遞系統。它可以容錯的方式儲存記錄流。它可以處理記錄發生時的流。由於主要介紹如何使用kafka快速構建生產者消費者例項，所以不會涉及kafka內部的原理。乙個基於kafka的生產者消費者過程通常是這樣的 來自官網 cd kafka 2.11 0.11....