Kafka集群安裝部署與啟動指令碼

hadoop102

hadoop103

hadoop104

zkzk

zkkafka

kafka

kafka

1）解壓安裝包

[atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -c /opt/module/

2）修改解壓後的檔案名稱

[atguigu@hadoop102 module]$ mv kafka_2.11-2.4.1/ kafka

3）在/opt/module/kafka目錄下建立logs資料夾

[atguigu@hadoop102 kafka]$ mkdir logs

4）修改配置檔案

[atguigu@hadoop102 kafka]$ cd config/

[atguigu@hadoop102 config]$ vi server.properties

修改或者增加以下內容：

#broker的全域性唯一編號，不能重複

broker.id=0

#刪除topic功能使能

delete.topic.enable=true

#kafka存放資料的路徑

log.dirs=/opt/module/kafka/

data

#配置連線zookeeper集群位址

zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

[atguigu@hadoop102 module]$ sudo vi /etc/profile.d/my_env.sh

#kafka_home

export kafka_home=/opt/module/kafka
export path=$path:$kafka_home/bin

6）分發安裝包

[atguigu@hadoop102 module]$ xsync kafka/

注意：分發之後記得配置其他機器的環境變數

7）分別在hadoop103和hadoop104上修改配置檔案/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2

注：broker.id不得重複

8）啟動集群

依次在hadoop102、hadoop103、hadoop104節點上啟動kafka

[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

[atguigu@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon  /opt/module/kafka/config/server.properties
[atguigu@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon  /opt/module/kafka/config/server.properties

[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh

[atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh
[atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh

（1）在/home/atguigu/bin目錄下建立指令碼kf.sh

[atguigu@hadoop102 bin]$ vim kf.sh

在指令碼中填寫如下內容

#!/bin/bash

case $1 in
"start");;
"stop");;
esac

[atguigu@hadoop102 bin]$ chmod 777 kf.sh

（3）kf集群啟動指令碼

[atguigu@hadoop102 module]$ kf.sh start

（4）kf集群停止指令碼

[atguigu@hadoop102 module]$ kf.sh stop

注意：kafka的brokerid註冊在zookeeper節點中，因此kafka啟動之前需要先啟動zookeeper，zookeeper關閉之前要先關閉kafka。

如果先關閉了zookeeper而kafka未關閉，zookeeper中依然存在kafka之前註冊的節點，下次啟動kafka時會導致無法啟動。

kafka集群安裝部署

wget 2.tar zxvf kafka 2.12 2.1.0.tgz 解壓安裝包 3.備份kafka zookeeper配置檔案 cp server.properties server.properties.bak cp zookeeper.properties zookeeper.proper...

kafka集群安裝部署

kakfa集群部署 實驗室3臺機器 34,35,36 1 到官網 2 解壓到36伺服器 cd utxt soft qydx tar zxvf kafka 2.12 1.1.0.tgz 3 cd kafka 2.12 1.1.0 config 4 修改配置檔案 vi server.properties...

安裝部署Kafka集群

kafka是乙個開源的分布式訊息訂閱系統 訊息中介軟體 安裝過程 2.上傳至 usr local src 3.解壓縮，並且移動到上級目錄 4.進入主目錄的config子目錄，5.修改server.properties配置檔案 vim server.properties內容如下 6.儲存並退出 7.主...