Kafka生產者原始碼解析

2021-10-13 18:50:29 字數 424 閱讀 5460

1.生產者客戶端如何獲取要生產資料的topic元資料;

2.生產者如何組裝訊息;

3.生產者組裝好訊息後是直接傳送到broker端嗎?

4.訊息是如何傳送到broker端的呢?

5.生產者中,如果配置了訊息壓縮策略,同時服務端也配置了壓縮策略,並且兩個地方設定的策略不同,那採用哪個策略呢?

6.如果多個客戶端向相同的topic寫資料,並且多個客戶端設定的壓縮策略都不同,那以誰的為準呢?

7.訊息到達服務端後,如何進行儲存呢?會生成哪些檔案呢?

8.訊息到達服務端後,資料是直接寫磁碟嗎?

9.如果生產者客戶端配置的```ack=-1 或者 ack=all`

``那麼服務端如何判斷什麼時候這條訊息被所有follower都收到了呢?什麼時候響應客戶端成功呢?

kafka原始碼 Kafka生產者原始碼分析

我們kafka原始碼的doc文件拿下來乙個demo,這個demo用於向服務端傳送訊息,從這個例子我們可以知道傳送訊息是通過生產者的kafkaproducer來完成的,這一篇文章將先完成kafkaproducer的分析 properties props new properties props.put...

kafka原始碼分析 生產者 消費者

kafka 2.5 kafka測試 位址 producer consumer 因為是單執行緒模型,當處理接收到的返回訊息時是不能傳送心跳 執行緒不安全 乙個partition只能分配給乙個consumer,乙個consumer可以處理多個partition 新版本的將kafka consumer的消...

Kafka之生產者

1 方便在集群中擴充套件,乙個topic可以有多個partition組成,而每個partition可以通過調整以適應它所在的機器 2 可以提高併發,因為可以以partition為單位讀寫 我們需要將生產者傳送的資料封裝成乙個producerrecord物件。1 指明partition的情況下,直接將...