效能測試可進行分割槽數測試,生產和消費壓力測試等
壓力測試都是針對整個集群的,如果想測試單節點的效能,可以建立topic指定分割槽都在同一節點進行測試
kafka-topics-perf-test.sh --topic test --num-records 100000 --record-size 1000 --throughput -1 --producer.config ../config/producer.properties
--num-records:生產的條數
--record-size每條訊息的大小,bytes
--throughput :每秒傳送的條數,-1是不限速
可以看到最終的生產速度。效能瓶頸可能是網路,cpu,記憶體,分割槽數等等
單節點速度測試
即指定乙個伺服器的broker.id進行建立
kafka-topics.sh --zookeeper ip:port --topic test --replica-assignment 3,3,3,3
建立後檢視,發現都在同一伺服器,隨後進行壓測就是同一節點的生產速度和消費速度
kafka-topics.sh --zookeeper ip:port --topic test --describe
./bin/kafka-consumer-perf-test.sh --broker-list ip:port --messages 2000000 --topic test --new-consumer --consumer.config ../config/consumer.properties
版本可以用bin/kafka-consumer-perf-test.sh --help檢視具體使用
1:先建立測試的多個topic
2:生產者測試:bin/kafka-producer-perf-test.sh --topic topic --num-records 1000000 --record-size 20480 --throughput 30000 --producer-props bootstrap.servers=「server01」 acks=1
3:消費測試:bin/kafka-consumer-perf-test.sh --topic test5 --messages 100000 --broker-list 「kafka-node1,kafka-node2」
kafka效能測試
版本0.10.1.1 kafka broker的jvm預設是使用1g的記憶體 bin kafka producer perf test.sh topic test pati3 rep2 throughput 500000 num records 1500000 record size 1000 pr...
kafka效能測試
目前我測試過kafka的消費效能測試 一般kafka的消費大體有兩種,一種是定時消費,一種是實時消費 不論哪一種消費,我們都需要了解kafka的配置,配置檢視命令 grep e v kafka 2.11 1.1.1 config server.properties 備註 當kafka刪除資料後,偏移...
kafka 效能測試
1.kafka官網提供測試指令碼 1 生產者測試指令碼kafka producer perf test.sh 引數說明 topic topic名稱,num records 總共需要傳送的訊息數,record size 每個記錄的位元組數,throughput 每秒鐘傳送的記錄數,producer p...