iphost
192.168.132.94
bdtest05
192.168.132.95
bdtest06
192.168.132.96
bdtest07
非常簡單就不介紹了
kafka自帶有zookeeper服務，但是建議大家最好單獨建立乙個zookeeper集群，可以和其他應用共享，也便於管理
安裝介紹見「zookeeper-3.4.6集群部署」文件
kafka_2.10-0.10.0.0版本的這個配置檔案和以前版本有些差別
需要配置的屬性有：
broker.id=1
host.name=bdtest05
listeners=plaintext://bdtest05:9092
advertised.listeners=plaintext://bdtest05:9092
num.partitions=4
zookeeper.connect=bdtest05:2181,bdtest06:2181,bdtest07:2181
broker.id(標示當前server在集群中的id，有的說從0開始，有的說從1開始)，數字且唯一
log.dirs(log的儲存目錄，要對應的去建立這個目錄)等，其他的一些配置可以看相應的注釋：
其他配置暫時採取預設
zookeeper.connect(連線的zookeeper集群)
注意：先啟動zookeeper集群，再啟動kakfa集群
檢視zookeeper服務是否啟動（這裡檢視一台的就可以了）
在每台機器上啟動kafka服務
&表示後台執行，否則一旦終端關閉服務立刻停止 配合nohup使用，這樣不會看到如下圖日誌
(1)任意一台機器上面（此測試在bdtest05上），測試:在kafka中建立名為「cmy_nbd_topic1」的topic，該topic切分為4份，每乙份備份數為3
[hduser@bdtest05 bin]$ ./kafka-topics.sh --create --zookeeper bdtest05:2181 --replication-factor 3 --partitions 4 --topic cmy_nbd_topic1
(2)列出所有topic :
[hduser@bdtest05 bin]$ ./kafka-topics.sh --list --zookeeper bdtest05:2181,bdtest06:2181,bdtest07:2181
乙個完整測試
(1)單機連通性測試：
(a)執行producer:
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
(b)執行consumer:
./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
在producer端輸入字串並回車，檢視consumer端是否顯示。
(2) 分布式連通性測試
zookeeper server, kafka server, producer都放在伺服器bdtest05上
consumer放在伺服器bdtest06上
修改kafka server的配置檔案，將這行修改成這樣：
advertised.listeners=plaintext://bdtest05:9092
(a)執行bdtest05上面的producer:
[hduser@bdtest05 bin]$ ./kafka-console-producer.sh --broker-list bdtest05:9092 --topic test
(b)執行bdtest06上面的consumer:
[hduser@bdtest06 bin]$ ./kafka-console-consumer.sh --zookeeper bdtest06:2181 --topic test --from-beginning
在producer端輸入字串並回車，檢視consumer端是否顯示。
之前安裝zookeeper時已經配置clush工具，新增了zookeeper組
（1）建立關閉kafka伺服器組指令碼
（2）建立啟動kafka伺服器組指令碼
執行指令碼
[hduser@bdtest05 service]$ sh stopkafka.sh
[hduser@bdtest05 service]$ sh startkafka.sh
但是指令碼中ps ax | grep -i 'kafka\.kafka'就是查不到pid，這其中使用正則 如果單獨使用ps ax | grep -i 'kafka'或者ps ax | grep -i '.kafka'都能夠查到
fi解決辦法：更改指令碼
kafka 2 11 0 10 2 0集群安裝
集群環境 spark1 ip 192.168.6.137 spark2 ip 192.168.6.138 spark3 ip 192.168.6.139 cd usr local wget kafka 0.10.2.0 kafka 2.11 0.10.2.0.tgz tar xzf kafka 2....
kafka 2 11 0 11 0 1集群搭建
本文搭建乙個三節點的kafka集群。該集群有三個zookeeper 三個kafka broker。解壓kafka安裝包，獲得如下目錄 unzip kafka 2.11 0.11.0.1.zip kafka 2.11 0.11.0.1 kafka目錄結構 cd kafka 2.11 0.11.0.1 ...
kafka2 3集群搭建
環境 3臺centos7.4 3臺zookeeper3.4.14 wget 解壓 tar zxvf kafka 2.11 2.3.0.tgz 進入kafka目錄，修改config server.properties，找到zookeeper.connect，修改zk集群的連線位址為 zookeeper...