Linux下部署kafka集群

2. 安裝zookeeper集群，並啟動

3. kafka集群部署

3.4 配置環境變數

3.5 分發安裝包和環境變數的配置檔案

3.6 分別在hostname2，hostname3上修改配置檔案/kafka/config/server.propreties中的broker.id=1、broker.id=2

3.7 啟動集群

3.8 關閉程序

參考zookeeper集群搭建

tar -zxvf kafka_2.11-0.11.0.0.tgz

mkdir logs

cd config/

vi server.properties

#broker的全域性唯一編號，不能重複

broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟io的現成數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka執行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#topic在當前broker上的分割槽個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連線zookeeper集群位址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

#broker的全域性唯一編號，不能重複

broker.id=0

#刪除topic功能使能

delete.topic.enable=true

#kafka執行日誌存放的路徑

log.dirs=/opt/module/kafka/logs

#配置連線zookeeper集群位址

zookeeper.connect=hostname1:2181,hostname2:2181,hostname3:2181

vi /etc/profile

#kafka_home

export kafka_home=/opt/module/kafka
export path=$path:$kafka_home/bin

source /etc/profile

xsync /etc/profile

xsync kafka/

3.7 啟動集群

依次在hostname1、hostname2、hostname3節點上啟動kafka

bin/kafka-server-start.sh config/server.properties

# 分別在三颱伺服器上執行

bin/kafka-server-stop.sh stop

在docker環境下部署kafka集群

利用docker可以很方便的在一台機子上搭建kafka集群並進行測試。為了簡化配置流程，我們採用docker compose進行進行搭建。docker環境的部署參考 docker compose的部署參考 kafka搭建過程如下 編寫docker compose.yml檔案,內容如下 version...

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...