Kafka安裝部署

2021-09-22 18:41:09 字數 2876 閱讀 7236

1）解壓安裝包

[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -c /opt/module/
2）修改解壓後的檔名稱

[atguigu@hadoop102 module]$ mv kafka_2.11-0.11.0.0/ kafka
3）在/opt/module/kafka目錄下建立logs資料夾

[atguigu@hadoop102 kafka]$ mkdir logs
4）修改配置檔案

[atguigu@hadoop102 kafka]$ cd config/


[atguigu@hadoop102 config]$ vi server.properties
輸入以下內容：

#broker的全域性唯一編號，不能重複


broker.id=0


#刪除topic功能使能


delete.topic.enable=true


#處理網路請求的執行緒數量


num.network.threads=3


#用來處理磁碟io的現成數量


num.io.threads=8


#傳送套接字的緩衝區大小


socket.send.buffer.bytes=102400


#接收套接字的緩衝區大小


socket.receive.buffer.bytes=102400


#請求套接字的緩衝區大小


socket.request.max.bytes=104857600


#kafka執行日誌存放的路徑


log.dirs=/opt/module/kafka/logs


#topic在當前broker上的分割槽個數


num.partitions=1


#用來恢復和清理data下資料的執行緒數量


num.recovery.threads.per.data.dir=1


#segment檔案保留的最長時間，超時將被刪除


log.retention.hours=168


#配置連線zookeeper集群位址


zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181
5）配置環境變數

[atguigu@hadoop102 module]$ sudo vi /etc/profile


#kafka_home


export kafka_home=/opt/module/kafka


export path=$path:$kafka_home/bin


[atguigu@hadoop102 module]$ source /etc/profile
6）分發安裝包

xsync指令碼位址

[atguigu@hadoop102 module]$ xsync kafka/
注意：分發之後記得配置其他機器的環境變數

7）分別在hadoop103和hadoop104上修改配置檔案/opt/module/kafka/config/server.properties中的broker.id=1

、broker.id=2

注：broker.id不得重複

8）啟動集群

依次在hadoop102、hadoop103、hadoop104節點上啟動kafka

[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties


[atguigu@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon  config/server.properties


[atguigu@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon  config/server.properties
9）關閉集群

[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh stop


[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh stop


[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh stop
10）kafka群起指令碼

#！/bin/bash


for i in hadoop102 hadoop103 hadoop104


doecho "********** $i **********"


ssh $i 'source /etc/profile&&/opt/module/kafka_2.11-0.11.0.2/bin/kafka-server-start.sh -daemon /opt/module/kafka_2.11-0.11.0.2/config/server.properties'


#此名是顯示是否成功的啟動


echo $?


done

kafka集群安裝部署

wget 2.tar zxvf kafka 2.12 2.1.0.tgz 解壓安裝包 3.備份kafka zookeeper配置檔案 cp server.properties server.properties.bak cp zookeeper.properties zookeeper.proper...

Kafka的安裝部署

安裝過程非常簡單，只需要解壓就行，因為這個是編譯好之後的可執行程式 因為kafka依賴於zookeeper來做master選舉一起其他資料的維護，所以需要先啟動zookeeper節點 kafka內建了zookeeper的服務，所以在bin目錄下提供了這些指令碼 zookeeper server st...

kafka集群安裝部署

kakfa集群部署 實驗室3臺機器 34,35,36 1 到官網 2 解壓到36伺服器 cd utxt soft qydx tar zxvf kafka 2.12 1.1.0.tgz 3 cd kafka 2.12 1.1.0 config 4 修改配置檔案 vi server.properties...