首先要了解kafka的理論基本概念,否則看起來可能會讀不懂的。建議先網上學習一下kafka基礎知識。能看懂下面的圖
集群的搭建-主要是kafka集群(broker) 與 zookeeper
注意:啟動時要先啟動zookeeper再啟動broker(即kafka主機)(**機器較多,寫shell指令碼一鍵啟動)
關閉時先關閉broker 再關閉zookeeper
(上圖右下角,0.9版本以後offset儲存在本地意思是儲存在kafka集群,可能是某個topic下面,所以查詢命令也有所不同)
接下來重點是修改 配置檔案哦
(重頭戲來了kafka/config/server.properties,說一下可能需要我們修改的引數)
broker.id只能是整型數字,每個kafka伺服器的id都不同。所以每個都要單獨修改哦。
監聽服務及埠
log.dirs 這個目錄其實是儲存的資料資訊,不是kafka的日誌檔案!
資料儲存時間
zookeeper.connect 配置zk資訊,如果需配置多個用逗號分割。
配置修改好之後
想配置也可以配置一下環境變數。
分發安裝包 xsync kafka/ (分發完以後去其它的伺服器上修改配置檔案裡的broker.id)
接下來先啟動zookeeper
啟動命令:zk.sh start
檢視一下kafka的命令都有哪些。進入kafka的bin目錄。了解一下常用的就可以了。
啟動命令(守護程序模式啟動):
kafka-server-start.sh -daemon config/server.properties
後面就是上面修改的配置檔案(server.properties)
關閉命令:kafka-server-stop.sh stop
挨個啟動太麻煩了,寫個群起指令碼吧,寫法如下:
kafka 群起指令碼:
#!/bin/bash
case $1 in
"start");;
"stop");;
esac
儲存為test.sh
chmod 777 test.sh (賦許可權)
執行:test.sh start
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...