kafka多機房（多az）部署可以保證資料容災和高穩定性。但是多機房部署如何解決資料一致性的問題？
kafka集群多機房（多az部署）解決資料一致性的問題。
kafka 的 mirrormaker工具解決資料一致性的問題。基本原理是使用kafka的客戶端啟動消費者和生產者，從源集群消費資料並將資料生產，寫入目標的kafka集群。
#1.新建映象目標集群。
#2.新建配置檔案（模擬消費者）sourceclusterconsumer.config,最簡單的檔案內容包括了和bootstrap.servers=10.160.100.2:9092,10.160.99.4:9092
group.id=mirrorgrouptest
#3.新建配置檔案（模擬生產者）targetclusterproducer.config，最簡單的檔案內容包括了bootstrap.servers=10.237.59.114:9092,10.237.59.178:9092
#4.執行如下命令進行資料同步
./kafka-run-class.sh kafka.tools.mirrormaker --new.consumer --consumer.config sourceclusterconsumer.config --producer.config targetclusterproducer.config --whitelist="security_logstash" &
##引數介紹
##kafka.tools.mirrormaker主類
##--new.consumer 代表啟動乙個新的消費者
##--consumer.config 消費者配置
##--producer.config 生產者配置
##--whitelist 要資料同步的topic列表，支援正則匹配
當源集群出現故障時（zk掛了），如何保證資料一致性？
如何保證消費者可以兩個集群消費的資料是不會重複的？
zookeeper集群部署 kafka集群部署
wget wget 解壓到目錄 tar zxvf apache zookeeper 3.5.8 bin.tar.gz c usr local 進入目錄 cd usr local 建立軟連線 ln s usr local apache zookeeper 3.5.8 zookeeper 複製配置檔案 ...
kafka 集群 測試
參考資料 wget 解壓tar xvzf kafka 2.11 0.10.0.1.tgz 移動mv kafka 2.11 0.10.0.1 usr local 修改配置 cd kafka 2.11 0.10.0.1 config mv server.properties server 1.prope...
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....