kafka的集群搭建

2022-07-11 15:48:09 字數 1563 閱讀 1296

1.搭建zookeeper集群

jdk 環境最好1.8

1.建立/zookeeper目錄(1-4三颱都需要)

mkdir /zookeeper

2.解壓:

tar -xvf apache-zookeeper-3.6.2.tar

3.修改配置檔案zoo_sample.cfg

/zookeeper/apache-zookeeper-3.6.2/conf

cp zoo_sample.cfg   zoo_sample.cfg.old

修改地方:

datadir=/zookeeper/data

clientport=2181

server.0=192.168.56.2:2888:3888

server.1=192.168.56.3:2888:3888

server.2=192.168.56.4:2888:3888

①、ticktime:基本事件單元,這個時間是作為zookeeper伺服器之間或客戶端與伺服器之間維持心跳的時間間隔,每隔ticktime時間就會傳送乙個心跳;最小 的session過期時間為2倍ticktime

②、datadir:儲存記憶體中資料庫快照的位置,除非另有說明,否則指向資料庫更新的事務日誌。注意:應該謹慎的選擇日誌存放的位置,使用專用的日誌儲存裝置能夠大大提高系統的效能,如果將日誌儲存在比較繁忙的儲存裝置上,那麼將會很大程度上影像系統效能。

③、client:監聽客戶端連線的埠。

④、initlimit:允許follower連線並同步到leader的初始化連線時間,以ticktime為單位。當初始化連線時間超過該值,則表示連線失敗。

⑤、synclimit:表示leader與follower之間傳送訊息時,請求和應答時間長度。如果follower在設定時間內不能與leader通訊,那麼此follower將會被丟棄。

⑥、server.a=b:c:d

a:其中 a 是乙個數字,表示這個是伺服器的編號;

c:leader選舉的埠;

d:zookeeper伺服器之間的通訊埠。

我們需要修改的第乙個是 datadir ,在指定的位置處建立好目錄。

第二個需要新增的是 server.a=b:c:d 配置,其中 a 對應下面我們即將介紹的myid 檔案。b是集群的各個ip位址,c:d 是埠配置。

4.建立myid檔案(在datadir)

那麼就必須在 192.168.56.2機器的的 /zookeeper/data 目錄下建立 myid 檔案,然後在該檔案中寫上 0 即可。

在56.3寫上1(56.4寫2)

5.陪著環境變數

#set zookeeper environment

export zk_home=/zookeeper/apache-zookeeper-3.6.2

export path=$path:$zk_home/bin

6.啟動服務(三颱都需要)

zkserver.sh start

zkserver.sh stop

zkserver.sh restart

7.檢視集群狀態

zkserver.sh status

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...