3 Kafka安裝及部署

2022-08-22 20:06:11 字數 2300 閱讀 9806

配置主機名對映。

vi /etc/hosts


##新增如下內容


168.5.7.75 server1


168.5.7.76 server2


168.5.7.77 server3
分別登入server1、server2、server3執行，操作、配置相同：

##更新或安裝wget命令


yum -y install wget


##建立安裝目錄


mkdir -p /usr/local/services/kafka


##獲取安裝包kafka_2.11-2.3.0.tgz


wget 


##解壓縮kafka_2.11-2.3.0.tgz


tar -zxvf kafka_2.11-2.3.0.tgz
分別登入server1、server2、server3執行，操作、配置相同：

export kafka_home=/usr/local/services/kafka/kafka_2.11-2.3.0


export path=$path:$kafka_home/bin


source /etc/profile
說明：再任一路徑下輸入 kafka 按 tab 鍵後會補全 kafka 相關指令碼.sh，即kafka 環境變數配置成功。 因 kafka 指令碼執行時會載入 /config 路徑下的相關配置檔案，故當不在 kafka 安裝目錄 bin 下執行相關指令碼時， 需要指定配置檔案絕對路徑。

登入server1執行操作：

cd $kafka_home/config


cp server.properties server.properties.$(date +%y%m%d)


vi server.properties


##修改檔案內配置如下


broker.id=1


log.dirs=/opt/data/kafka-logs


port=9093


zookeeper.connect=server1:2181,server2:2181,server3:2181
登入server2執行操作：

cd $kafka_home/config


cp server.properties server.properties.$(date +%y%m%d)


vi server.properties


##修改檔案內配置如下


broker.id=2


log.dirs=/opt/data/kafka-logs


port=9093


zookeeper.connect=server1:2181,server2:2181,server3:2181
登入server3執行操作：

cd $kafka_home/config


cp server.properties server.properties.$(date +%y%m%d)


vi server.properties


##修改檔案內配置如下


broker.id=3


log.dirs=/opt/data/kafka-logs


port=9093


zookeeper.connect=server1:2181,server2:2181,server3:2181
說明：broker.id 用於指定**的 id，需保證同乙個集群下 broker.id 要唯一；log.dirs 指定日誌儲存路徑。

分別登入server1、server2、server3執行，操作、配置相同：

cd $kafka_home/bin


## -daemon ：守護程序方式啟動


kafka-server-start.sh -daemon ../config/server.properties
連線測試

＃登入 zookeeper


cd /usr/local/services/zookeeper/zookeeper-3.4.13/bin


./zkcli.sh -server server1:2181


ls /
日誌檢視

##檢視 kafkaserver 啟動 日誌


cat $kafka_home/logs/server.log
參考書籍：kafka入門與實踐

deepinthought

出處：

3 Kafka集群部署

1 解壓安裝包 2 修改解壓後的檔名稱 ip101 mv kafka 2.11 0.11.0.0 kafka ip101 mkdir logs 4 修改配置檔案 ip101 cd config test ip101 config vi server.properties 輸入以下內容 broker的...

Kafka入門 3 kafka基礎操作

建立乙個topic 主題 kafka中所有的訊息都是儲存在主題中，要生產訊息到kafka，首先必須要有乙個確定的主題。建立名為test的主題 bin kafka topics.sh create bootstrap server node1 9092 topic test 檢視目前kafka中的主題...

Kafka安裝部署

1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 atguigu hadoop102 module mv kafka 2.11 0.11.0.0 kafka3 在 ...