Kafka生產者 向Kafka寫入資料

2021-10-02 01:33:39 字數 467 閱讀 3322

目錄

前言:1、kafka生產者概覽

2、建立kafka生產者

3、傳送訊息到kafka

4、生產者的配置

5、序列化器

6、分割槽

kafka不管是作為訊息佇列、訊息匯流排還是資料儲存平台來使用,都需要有乙個可以往kafka寫入資料的生產者和乙個可以從kafka讀取資料的消費者,或者乙個兼具兩種角色的應用程式。

主要介紹

①、如何從kafka生產者的設計與元件如何使用kafka作為生產者,

②、如何建立kafkaproducer和producerrecords物件

③、如何將記錄傳送給kafka

④、如何處理從kafka返回的錯誤。

kafka生產者元件圖

Kafka之生產者

1 方便在集群中擴充套件,乙個topic可以有多個partition組成,而每個partition可以通過調整以適應它所在的機器 2 可以提高併發,因為可以以partition為單位讀寫 我們需要將生產者傳送的資料封裝成乙個producerrecord物件。1 指明partition的情況下,直接將...

kafka 生產者(二)

想要提高生產者的吞吐量可以通過調整一下4個引數來實現 batch.size 批次大小,預設16k linger.ms 等待時間,修改為5 100ms recordaccumulator 緩衝區大小,修改為64m 實現 public class customproducerparameters 關閉資...

kafka生產者分割槽策略

kafka生產者 分割槽策略 分割槽的原因 1 方便在集群中擴充套件,每個partition可以通過調整以適應它所在的機器,而乙個topic又 可以有多個partition組成,因此整個集群就可以適應任意大小的資料了 2 可以提高併發,因為可以以partition為單位讀寫了。分割槽的原則 1 指明...