Kafka安裝部署啟動

2021-10-19 17:23:44 字數 1955 閱讀 5012

解壓安裝包

tar -zxvf /opt/software/kafka_2.11-2.4.1.tgz -c /opt/module/
修改解壓後的檔名稱

mv /opt/module/kafka_2.11-2.4.1/ /opt/module/kafka
在/opt/module/kafka目錄下建立logs資料夾

mkdir logs
修改配置檔案

vim /opt/module/kafka/config/server.properties
把對應的屬性修改如下：（沒有的屬性自己新增）

#broker的全域性唯一編號，不能重複


broker.id=2 （我在102上起名為2，根據自己定）


#刪除topic功能使能


delete.topic.enable=true


#處理網路請求的執行緒數量


num.network.threads=3


#用來處理磁碟io的現成數量


num.io.threads=8


#傳送套接字的緩衝區大小


socket.send.buffer.bytes=102400


#接收套接字的緩衝區大小


socket.receive.buffer.bytes=102400


#請求套接字的緩衝區大小


socket.request.max.bytes=104857600


#kafka執行日誌存放的路徑


log.dirs=/opt/module/kafka/logs


#topic在當前broker上的分割槽個數


num.partitions=1


#用來恢復和清理data下資料的執行緒數量


num.recovery.threads.per.data.dir=1


#segment檔案保留的最長時間，超時將被刪除


log.retention.hours=168


#配置連線zookeeper集群位址（根據自己的zookeeper配置）


zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka
配置環境變數

sudo vim /etc/profile.d/my_env.sh
新增如下內容

#kafka_home

export kafka_home=/opt/module/kafka


export path=


$path


:$kafka_home/bin
分發安裝包、分發配置檔案

xsync /opt/module/kafka/


xsync /etc/profile.d/my_env.sh
分別在hadoop103和hadoop104和hadoop105上修改配置檔案/opt/module/kafka/config/server.properties中的broker.id=3、broker.id=4、broker.id=5

注：broker.id不得重複

啟動集群

依次在hadoop102、hadoop103、hadoop104、hadoop105節點上啟動kafka

kafka-server-start.sh -daemon $kafka_home/config/server.properties
關閉集群

依次在hadoop102、hadoop103、hadoop104、hadoop105節點上關閉kafka

kafka-server-stop.sh
配置 kafka群起指令碼

參見：

window 部署啟動kafka

1.zk.server啟動 解壓到目錄 d tool kafka 2.11 2.1.1 1.編輯檔案kafka配置檔案，d tool kafka 2.11 2.1.1 config server.properties 2.找到並編輯log.dirs d tool kafka 2.11 2.1.1 k...

Kafka安裝部署

1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 atguigu hadoop102 module mv kafka 2.11 0.11.0.0 kafka3 在 ...

安裝啟動kafka

vim kafka config server.properties 確保唯一 broker.id 0 允許刪除主題 delete.topic.enable true 指定資料檔案所在目錄 log.dirs var local kafka logs zookeeper 的連線位址 zookeeper...