最近專案在用kafka，特此將步驟記錄下來
搭建kafka需要先搭建zookeeper集群，由於機器有限，所以都在一台機器上完成
一、zookeeper搭建
1、zookeeper-3.4.10.tar.gz 版本
2、配置：
（1）將安裝包放到zookeeper1 、zookeeper2、zookeeper3三個資料夾中，分別解壓
解壓： >tar -zxvfzookeeper-3.4.10.tar.gz
（2）分別對三個資料夾做如下操作：
1）在解壓好的zookeeper-3.4.10.資料夾下面新建zkdata資料夾和zkdatalog資料夾
2）在conf目錄下，複製zoo_sample.cfg檔案，並命名為zoo.cfg，官方配置檔案，開啟zoo.cfg檔案進行修改：
ticktime=2000
initlimit=10
synclimit=5
clientport=2181（針對於其他兩台，分別為2182,2183, 三個要區別開）
datadir=/home/dmcl216/zookeeper1/zookeeper-3.4.10/zkdata
datalogdir=/home/dmcl216/zookeeper1/zookeeper-3.4.10/zkdatalog
server.1=192.168.0.129:2887:3887
server.2=192.168.0.129:2888:3888
server.3=192.168.0.129:2889:3889
儲存，其他兩個也是這樣配置，只不過需要將clientport修改為2182和2183即可
3）在zkdata資料夾中建立myid檔案，並將內容分別置位1，或者2，或者3，根據 server.1， server.2，server.3決定的（一定要記住往myid檔案中寫入機器數字，否則會出錯）
（3）修改系統變數：
>sudo vim /etc/profile
新增zookeeper的系統變數
export zookeeper1_home=/home/dmcl216/zookeeper1/zookeeper-3.4.10
export path=$/bin:$path
export zookeeper2_home=/home/dmcl216/zookeeper2/zookeeper-3.4.10
export path=$/bin:$path
export zookeeper3_home=/home/dmcl216/zookeeper3/zookeeper-3.4.10
export path=$/bin:$path
（4）可以啟動
分別進入bin目錄
bin >./zkserver.sh start
檢視啟動狀態：
bin > ./zkserver.sh status
zookeeper jmx enabled by default
using config: /home/dmcl216/zookeeper1/zookeeper-3.4.10/bin/../conf/zoo.cfg
mode: follower
出現這個即表示啟動成功，選舉leader成功
二、kafka集群搭建：
1、kafka_2.11-1.1.0.tgz 版本
分別放到kafka1,kafka2,kafka3三個資料夾中進行解壓
>tar -zxvf kafka_2.11-1.1.0.tgz
2、在三個資料夾的kafka_2.11-1.1.0下分別建立kafkalog目錄資料夾
3、在config下有配置檔案server.properties進行配置：（三個差不多）
broker.id=0（另外兩個為1和2，記得修改）
log.dirs =/opt/server/kafka/kafka1/kafkalog（注意路徑不同）
listeners=plaintext:
port=9092（另外連個為9093和9094，記得修改）
zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
message.max.byte=5242880
default.replication.factor=2
replica.fetch.max.bytes=5242880
4、在config資料夾下修改consumer.properties
新增：zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
group.id=loggroup
5、啟動三個節點
進入到bin目錄下,分別啟動：
bin >./kafka-server-start.sh ../config/server.properties &
三、驗證
1、建立topic來驗證是否建立成功
建立topic
./kafka-topics.sh --create --zookeeper 192.168.172.10:2181 --replication-factor 2 --partitions 1 --topic my-topic
引數解釋：
--replication-factor 2 // 複製兩份
--partitions 1 // 建立1個分割槽
--topic // 主題為my-topic
-- --zookeeper // 此處為為zookeeper監聽的位址
2、建立生產者producer
./kafka-console-producer.sh --broker-list 192.168.172.129:9092 (主機名即可)--topic my-topic //`這個ip位址可以寫brokerlist中的任意乙個
此時，console處於阻塞狀態，可以直接輸入資料。
3、 建立消費者
此時要切換到另一台虛擬機器的shell介面輸入以下命令：
./kafka-console-consumer.sh --bootstrap-server192.168.172.129:9092 --topic my-topic --from-beginning
此時，一旦有資料生成，此處的console中就會顯示資料。
kafka集群安裝部署
wget 2.tar zxvf kafka 2.12 2.1.0.tgz 解壓安裝包 3.備份kafka zookeeper配置檔案 cp server.properties server.properties.bak cp zookeeper.properties zookeeper.proper...
kafka集群安裝部署
kakfa集群部署 實驗室3臺機器 34,35,36 1 到官網 2 解壓到36伺服器 cd utxt soft qydx tar zxvf kafka 2.12 1.1.0.tgz 3 cd kafka 2.12 1.1.0 config 4 修改配置檔案 vi server.properties...
安裝部署Kafka集群
kafka是乙個開源的分布式訊息訂閱系統 訊息中介軟體 安裝過程 2.上傳至 usr local src 3.解壓縮，並且移動到上級目錄 4.進入主目錄的config子目錄，5.修改server.properties配置檔案 vim server.properties內容如下 6.儲存並退出 7.主...