2
vim bin/kafka-server-start.sh
調整kafka_heap_opts="-xmx16g -xms16g」的值
2
3
4
# broker處理訊息的最大執行緒數
num.network.threads=9
# broker處理磁碟io的執行緒數
num.io.threads=16
socket.request.max.bytes=2147483600
），占用4個位元組（-2的31次方到2的31次方-1，不能超出，超出之後報錯：org.apache.kafka.common.config.configexception: invalid value 8589934592 for configuration socket.request.max.bytes: not a number of type int。
2
3
4
# 每當producer寫入10000條訊息時，刷資料到磁碟
log.flush.interval.messages=10000
# 每間隔1秒鐘時間，刷資料到磁碟
log.flush.interval.ms=1000
2
3
4
# 日誌保留時長
log.retention.hours=72
# 段檔案配置
log.segment.bytes=1073741824
2
3
num.replica.fetchers=3
replica.fetch.min.bytes=1
replica.fetch.max.bytes=5242880
fetcher配置多可以提高follower的i/o併發度，單位時間內leader持有更多請求，相應負載會增大，需要根據機器硬體資源做權衡，建議適當調大；
一般無需更改，預設值即可；
預設為1mb，這個值太小，推薦5m，根據業務情況調整
follow拉取頻率，頻率過高，leader會積壓大量無效請求情況，無法進行資料同步，導致cpu飆公升。配置時謹慎使用，建議預設值，無需配置。
num.partitions=5
kafka效能調優
1 網路和io操作執行緒配置優化 broker處理訊息的最大執行緒數 預設為3 num.network threads cpu核數 1 broker處理磁碟io的執行緒數 num.io threads cpu核數 2 2 log資料檔案刷盤策略 每當producer寫入10000條訊息時，刷資料到磁...
調優 Nginx效能調優
一.nginx優化配置 1.主配置檔案優化 注 部分配置詳解 worker processes 8 nginx程序數，建議按照cpu數目來指定，一般為它的倍數。worker cpu affinity 00000001 00000010 00000100 00001000 00010000 00100...
Kafka 集群調優
kafka 集群搭建鏈結 單個 kafka伺服器足以滿足本地開發或 poc要求，使用集群的最大好處是可以跨伺服器進行負載均衡，再則就是可以使用複製功能來避免因單點故障造成的資料丟失。在維護 kafka 或底層系統時，使用集群可以確保為客戶端提供高可用性。乙個 kafka 需要多少個 broker取決...