kafka集群效能的OS引數

kafka讀寫磁碟會頻繁的建立並修改檔案系統中的檔案，主要有下面3類

日誌檔案

索引檔案
元資料檔案

(乙個topic分割槽大小 / 分割槽段檔案大小 ) * 3 * 所有topic分割槽數總和

則 該broker上面需要維護的檔案個數為 (200 / 10) * 3 * 100 = 6000

檢視linux系統限制引數

[bigdataservice@hadoop]$ ulimit -a

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 256897
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 102400
pipe size            (512 bytes, -p) 8
posix message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

由此可知系統允許的開啟最多檔案數為102400

如果要進行重新設定的話只需 執行下面的命令

ulimit -n 102400

sysctl vm.swapiness = 《乙個較小的數值》

sysctl -a | grep dirty

vm.dirty_background_bytes = 0
vm.dirty_background_ratio = 10
vm.dirty_bytes = 0
vm.dirty_expire_centisecs = 3000
vm.dirty_ratio = 30
vm.dirty_writeback_centisecs = 500

Redis安裝 集群 效能監控

最近專案即將上線，由於人手問題，各種研究運維相關知識，這兩天剛弄完redis集群部署的問題，跟大家嘮嘮。以下均是在linux環境下執行，系統ubuntu16.04 sudo wget 複製 sudo tar zxvf redis stable.tar.gz 複製 sudo apt get insta...

RocketMQ 集群效能摸高

我們在生產環境搭建乙個集群時，需要對該集群的效能進行摸高。即 集群的最大 tps 大約多少，我們做到心裡有數。通常我們日常的實際流量控制在壓測最高值的 1 3 到 1 2 左右，預留一倍到兩倍的空間應對流量的突增情況。如何進行壓力測試呢？寫段傳送 測試同學通過 jmeter 進行壓力測試，或者 中通...

ES集群效能優化及維護

注 集群 elasticsearch 版本為 v7.2.1。index.refresh interval 重新整理時間，預設1 put index all settings?preserve existing false index.number of replicas 備份數，預設1 put in...