Kafka Consumer消費壓力測試

注意該topic一定要有資料。

./bin/kafka-consumer-perf-test.sh  --broker-list  test01:6667,test02:6667,test05:6667  --messages 2000000   --topic flink_test  --group g1 --threads 24

具體引數解釋

data.consumed.in.mb：總消費大小(mb)

mb.sec：平均每秒消費(mb/s)

data.consumed.in.nmsg：總消費條數（條）

nmsg.sec：平均每秒消費（條）

rebalance.time.ms：再平衡時間(ms)

fetch.time.ms：fetch平均時間(ms)

fetch.mb.sec：fatch平均大小(mb/s)

fetch.nmsg.sec：fatch平均條數(條)

Kafka Consumer 分割槽消費策略

本文主要對 consumer 端對partition的分配策略進行分析。kafka 分割槽分配的規則是乙個分割槽只能被乙個消費者組的某個消費者進行消費。並且kafka會在此規則下實現消費資料的負載均衡。kafka 提供的分割槽策略有三種，分別是 range roundrobin和sticky，其中預...

初始 Kafka Consumer 消費者

根據 kafkaconsumer 類上的注釋上來看 kafkaconsumer 具有如下特徵 對於訊息處理時間不可 的情況下上述兩個引數可能不夠用，那將如何是好呢？通常的建議將訊息拉取與訊息消費分開，乙個執行緒負責 poll 訊息，處理這些訊息使用另外的執行緒，這裡就需要手動提交消費進度。為了控制訊...

Kafka Consumer 消費者組

官方定義 消費者使用乙個消費者組 即group.id 來標記自己，topic的每條訊息都只會被傳送到每個訂閱它的消費者組的乙個消費者例項上。所有consumer例項都屬於相同group 實現基於佇列的模型。每條訊息只會被乙個consumer例項處理。consumer都屬於不同group 實現基於發布...