Kafka集群搭建

192.168.140.128 kafka01

192.168.140.129 kafka02

192.168.140.130 kafka03

這裡使用的是root賬戶

1）需要安裝jdk、zookeeper

jdk的安裝這裡(待補充)

zookeeper的安裝這裡（待補充）

2）kafka的案例安裝目錄

安裝包存放的目錄：/export/software

安裝程式存放的目錄：/export/servers

資料目錄：/export/data

日誌目錄：/export/logs

mkdir -p /export/servers/

mkdir -p /export/software /
mkdir -p /export/data /
mkdir -p /export/logs /

tar -zxvf kafka_2.11-1.0.0.tgz -c /export/servers/cd /export/servers/

rm -rf /export/servers/kafka
rm -rf /export/logs/kafka/
rm -rf /export/data/kafka
mv kafka_2.11-1.0.0 kafka

2） 刪除之前的安裝記錄

3） 重新命名

cd /export/servers/kafka_2.11-1.0.0/

修改配置檔案

進入配置目錄，檢視server.properties檔案

cd config/

建議使用nodepad++連線後進行修改(沒有的同學使用vim)

vim cat server.properties

1） broker.id

2） 資料存放的目錄，注意目錄如果不存在，需要新建下。

3） zookeeper的位址資訊

# broker.id

標識了kafka集群中乙個唯一broker。
broker.
id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
# 存放生產者生產的資料 資料一般以topic的方式存放
# 建立乙個資料存放目錄 /export/data/kafka  ---  mkdir -p /export/data/
kafkad得有這個目錄，第一步要你建立的
log.dirs
=/export/data/
kafka
num.partitions=1
num.recovery.threads.per.data.
dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
# zk的資訊
zookeeper.connect
=zk01:2181,zk02:2181,zk03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0

先在node02、node03上刪除以往的安裝記錄

rm -rf /export/servers/kafka

rm -rf /export/logs/kafka/
rm -rf /export/data/kafka

scp -r /export/servers/kafka/ node02:/export/servers/

scp -r /export/servers/kafka/ node03:/export/servers/

注意:kafka的元資料是儲存在zookeeper中，所以必須先啟動zookeeper

啟動集群

cd /export/servers/kafka/bin

./kafka-server-start.sh /export/servers/kafka/config/server.properties

出現kafka程序表示成功了

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...