(八)kafka的效能測試

2021-10-07 04:15:08 字數 1220 閱讀 3674

效能測試可進行分割槽數測試,生產和消費壓力測試等

壓力測試都是針對整個集群的,如果想測試單節點的效能,可以建立topic指定分割槽都在同一節點進行測試

kafka-topics-perf-test.sh --topic test --num-records 100000 --record-size 1000 --throughput -1 --producer.config ../config/producer.properties

--num-records:生產的條數

--record-size每條訊息的大小,bytes

--throughput :每秒傳送的條數,-1是不限速

可以看到最終的生產速度。效能瓶頸可能是網路,cpu,記憶體,分割槽數等等

單節點速度測試

即指定乙個伺服器的broker.id進行建立

kafka-topics.sh --zookeeper ip:port --topic test --replica-assignment 3,3,3,3

建立後檢視,發現都在同一伺服器,隨後進行壓測就是同一節點的生產速度和消費速度

kafka-topics.sh --zookeeper ip:port --topic test --describe

./bin/kafka-consumer-perf-test.sh  --broker-list ip:port  --messages 2000000   --topic test --new-consumer --consumer.config ../config/consumer.properties

版本可以用bin/kafka-consumer-perf-test.sh --help檢視具體使用

1:先建立測試的多個topic

2:生產者測試:bin/kafka-producer-perf-test.sh --topic topic --num-records 1000000 --record-size 20480 --throughput 30000 --producer-props bootstrap.servers=「server01」 acks=1

3:消費測試:bin/kafka-consumer-perf-test.sh --topic test5 --messages 100000 --broker-list 「kafka-node1,kafka-node2」

kafka效能測試

版本0.10.1.1 kafka broker的jvm預設是使用1g的記憶體 bin kafka producer perf test.sh topic test pati3 rep2 throughput 500000 num records 1500000 record size 1000 pr...

kafka效能測試

目前我測試過kafka的消費效能測試 一般kafka的消費大體有兩種,一種是定時消費,一種是實時消費 不論哪一種消費,我們都需要了解kafka的配置,配置檢視命令 grep e v kafka 2.11 1.1.1 config server.properties 備註 當kafka刪除資料後,偏移...

kafka 效能測試

1.kafka官網提供測試指令碼 1 生產者測試指令碼kafka producer perf test.sh 引數說明 topic topic名稱,num records 總共需要傳送的訊息數,record size 每個記錄的位元組數,throughput 每秒鐘傳送的記錄數,producer p...