2 Kafka 集群部署

2022-07-25 10:57:26 字數 2120 閱讀 6337

1

)解壓安裝包

[hadoop@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -c /opt/module/

2)修改解壓後的檔名稱

[hadoop@hadoop102 module]$ mv kafka_2.

11-0.11.0.0/kafka

3)在/opt/module/kafka 目錄下建立 logs 資料夾

[hadoop@hadoop102 kafka]$ mkdir logs

4)修改配置檔案

[hadoop@hadoop102 kafka]$ cd config/[hadoop@hadoop102 config]$ vi server.properties

輸入以下內容:

#broker 的全域性唯一編號,不能重複

broker.id=0

#刪除 topic 功能使能

delete.topic.enable=true

#處理網路請求的執行緒數量

num.network.threads=3

#用來處理磁碟 io 的現成數量

num.io.threads=8

#傳送套接字的緩衝區大小

socket.send.buffer.bytes=102400

#接收套接字的緩衝區大小

socket.receive.buffer.bytes=102400

#請求套接字的緩衝區大小

socket.request.max.bytes=104857600

#kafka 執行日誌存放的路徑

log.dirs=/opt/module/kafka/logs

#topic 在當前 broker 上的分割槽個數

num.partitions=1

#用來恢復和清理 data 下資料的執行緒數量

num.recovery.threads.per.data.dir=1

#segment 檔案保留的最長時間,超時將被刪除

log.retention.hours=168

#配置連線 zookeeper 集群位址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5)配置環境變數

[hadoop@hadoop102 module]$ sudo vi /etc/profile

#kafka_home

export kafka_home=/opt/module/kafka

export path=$path:$kafka_home/bin

[hadoop@hadoop102 module]$ source /etc/profile

6)分發安裝包

[hadoop@hadoop102 module]$ xsync kafka/注意:分發之後記得配置其他機器的環境變數

7)分別在 hadoop103 和 hadoop104 上修改配置檔案

/opt/module/kafka/config/server.properties 中的 broker.id=1、broker.id=2

注:broker.id 不得重複

8)啟動集群

依次在 hadoop102、hadoop103、hadoop104 節點上啟動 kafka

[hadoop@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties &[hadoop@hadoop103 kafka]$ bin/kafka-server-start.sh config/server.properties &[hadoop@hadoop104 kafka]$ bin/kafka-server-start.sh config/server.properties &

9)關閉集群

[hadoop@hadoop102 kafka]$ bin/kafka-server-stop.sh stop

[hadoop@hadoop103 kafka]$ bin/kafka-server-stop.sh stop

[hadoop@hadoop104 kafka]$ bin/kafka-server-stop.sh stop

Kafka 集群部署

kafka是乙個分布式訊息佇列,需要依賴zookeeper,請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項,或者將broker部署到多台伺服器上,以下以172.16.50.21集群為例,多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper,如果環境中沒有zoo...

Kafka集群部署

前提 在啟動kafaka集群,呼叫 bin kafka server start.sh config server.properties 前,需要把每台機器上zookeeper服務都給啟動了。zookeeper的安裝配置看,1 kafka集群規劃 s101 s102 s103 s104 zk zk ...