consumer
負載低的情況下可以每個執行緒消費多個partition。但負載高的情況下，consumer 執行緒數最好和partition數量保持一致。
見： - 四. consumer和partition
partition
1天有 1億行可以分8個分割槽，如果每天幾十萬行就乙個分割槽
見：佇列限制
主要設定引數為 message.max.bytes，queued.max.requests，socket.request.max.bytes
見：kafka 之 中級
Kafka設計要點
1 利用os的pagecache 不在程序中維護cache，而是直接寫入磁碟，並定期重新整理到磁碟。使用程序cache的缺點 增加記憶體佔用量 程序重啟時要麼重建cache 很耗時 要麼以空cache執行 初始效能很差 加重編碼負擔，需要維護cache和磁碟上資料的一致性。2 順序寫磁碟 沒有使用b...
kafka的主要配置
broker 標示，id 為正數，且全域性不得重複 broker.id 1 日誌檔案儲存位置 log.dir kafka logs broker 需要用zookeeper 儲存meta資訊 zookeeper.connect 192.168.100.104 9092,192.168.100.105 ...
Kafka 配置說明
配置檔案在config server.properties 下面的一些配置可能是你需要進行修改的。broker.id 整數，建議根據ip區分 log.dirs kafka存放訊息檔案的路徑，預設 tmp kafka logs port broker用於接收producer訊息的埠 zookeeper...