當前使用的kafka-0.8.2.2 沒有安全管理模組
kafka-manager沒有安全管理模組，通過nginx反向**、使用者認證來實現安全管理
做相應的網路安全限制，對外桌面服務可以直接訪問nginx伺服器，而無法訪問部署kafka-mannager的主機（限制埠）
方式1：基於kafka-0.8.2.2 開發管理模組
對ssl，kerberos，zookeeper分布式鑑權方方式做了些了解，發現要想實現kafka-0.8.2.2資料安全管理，都需要修改其核心**，風險和工作量都太大。
方式2：kafka公升級
由於之前的應用開發都是基於kafka-0.8.2.2的，kafka公升級，之前的應用開發**都要調整，工作量也不小
方式3：基於網路埠的弱許可權管理
通過網路、埠許可權管理，指定的伺服器才可以訪問操作kafka
對kafka伺服器本身，做伺服器賬戶許可權管理，指定特定人員統一運維kafka服務
對kafka/bin目錄做許可權管理（可以的話，進入目錄要輸入賬戶密碼）
總結：方式1：風險和工作量都太大，不適用
方式2：kafak公升級，應用**都要調整，測試，工作量大，應用已經上線，影響生產環境
方式3：弱許可權處理，對生產環境影響小，通過kafka-manager來操作（基於nginx的安全管理）
基於如上分析：建議採用方式3，做kafka安全管理
kafka 分割槽數
kafka的分割槽，相當於把乙個topic再細分成了多個通道 對應 多個執行緒 部署的時候盡量做到乙個消費者 執行緒 對應乙個分割槽。如果你的分割槽數是n，那麼最好執行緒數也保持為n。kafkastream 它是consumer的關鍵類，提供了遍歷方法用於consumer程式呼叫實現資料的消費。其底...
基於docker部署kafka群集
建立網路 zookeeper建立容器 kafka建立容器 docker pull wurstmeister zookeeper docker pull wurstmeister kafka 檢視當前網絡卡 docker network ls 建立新網絡卡 docker network create ...
Kafka基於Zookeeper搭建高可用集群實戰
1 前言 1.1 高可用的由來 為何需要replication？在kafka在0.8以前的版本中，是沒有replication的，一旦某乙個broker宕機，則其上所有的 partition資料都不可被消費，這與kafka資料永續性及delivery guarantee的設計目標相悖。同時 prod...