Kafka限流 Quota 設定

2021-10-04 14:07:34 字數 846 閱讀 9698

12月 24, 2016 |  nix.huang

如果kafka客戶端是認證的。那麼可以使用userid和clientid兩種認證方式。如果沒有認證只能使用clientid限流。

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1024' --entity-type clients --entity-name clienta

對clientid=clienta的客戶端新增限流設定。producer_byte_rate表示每秒最多能寫入到訊息量,單位為byte/sec。consumer_byte_rate表示每秒最多能消費的訊息了,單位也為byte/sec。

可以使用bin/kafka-producer-perf-test.sh壓力測試指令碼來驗證你的限流配置是否生效。

bin/kafka-producer-perf-test.sh --topic test_perf --num-records 10000 --record-size 100 --throughput 150 --producer-props bootstrap.servers=localhost:9092 client.id=clienta

注意"client.id=clienta"屬性值。

當然,你會簡單的zookeeper命令列操作,也可以登入zookeeper執行如下的命令

[zk: localhost:2181(connected) 16] get /config/clients/clienta

}發現kafka將我們的限流設定以json的格式寫入了zookeeper中。

Nginx限流設定

hello world成功的必經之路!1.限流演算法 1 令牌限流 演算法思想是 令牌以固定速率產生,並快取到令牌桶中 令牌桶放滿時,多餘的令牌被丟棄 請求要消耗等比例的令牌才能被處理 令牌不夠時,請求被快取。2 漏桶演算法 演算法思想是 水 請求 從上方倒入水桶,從水桶下方流出 被處理 來不及流出...

Nginx限流設定

nginx 提供兩種不同的限流方式,分別為ngx http limit req module,ngx http limit conn module,兩個模組可以搭配使用,其中ngx http limit req module用來限制請求次數,ngx http limit conn module限制併...

kafka設定超時時間

後台登入的地方 有用kafka傳送登入日誌 某一天 kafka連線超時 導致後台登入很慢 登入不進去 做類似以下修改 設定個超時時間 可以很好解決這個問題 rk new rdkafka producer rk setloglevel log debug rk addbrokers 127.0.0.1...