Kafka集群搭建之路

2021-07-25 02:37:12 字數 909 閱讀 2320

kafka配置流程圖

1. zookeeper的配置流程圖

申請兩台linux機器,目前是兩個虛擬機器(centos系統)

首先,建立三個目錄,分別作為zookeeper的專案目錄、儲存資料目錄和儲存事務日誌

mkdir zookeeper #專案目錄

mkdir zkdata #存放快照日誌

mkdir zkdatalog#存放事物日誌

server2 : 192.168.173.128

server1 : 192.168.173.129

定時執行指令碼

datadir=/opt/zookeeper/zkdata/version-2

datalogdir=/opt/zookeeper/zkdatalog/version-2

count=66

count=

[ count+1]

ls -t da

talo

gdir

/log

.∗|t

ail−

n+count | xargs rm -f

ls -t da

tadi

r/sn

apsh

ot.∗

|tai

l−n+

count | xargs rm -f

192.168.173.128:

zk配置:id=2 jd-zhouguoxin

kafka 配置: broker.id = 0

192.168.173.129:

zk配置:id=1 zhouguoxin

kafka 配置: broker.id = 1

scp –r /opt/kafka-src [email protected]:/opt/

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper,建議還是用外部的zk集群,搭建步驟如下 準備3臺機器,假設我們叫c1 c2 c3,ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...