Kafka Kafka安裝部署

2022-07-02 13:06:15 字數 2624 閱讀 9896

hadoop102     hadoop103         hadoop104

zk                      zk                       zk

kafka                kafka                 kafka

1）解壓安裝包

[ck@hadoop102 software]$ tar -zxvf kafka_2.12-2.6.1.tgz -c /opt/module/

2）在/opt/module/kafka_2.12-2.6.1目錄下建立logs資料夾

[ck@hadoop102 software]$ cd /opt/module/kafka_2.12-2.6.1


[ck@hadoop102 kafka_2.12-2.6.1]$ mkdir logs

3）修改配置檔案

[ck@hadoop102 kafka_2.12-2.6.1]$ cd config/[ck@hadoop102 config]$ 


vi server.properties

輸入以下內容：

#broker的全域性唯一編號，不能重複


broker.


id=0


#刪除topic功能使能


delete.topic.enable=true


#處理網路請求的執行緒數量


num.network.threads=3


#用來處理磁碟io的現成數量


num.io.threads=8


#傳送套接字的緩衝區大小


socket.send.buffer.bytes=102400


#接收套接字的緩衝區大小


socket.receive.buffer.bytes=102400


#請求套接字的緩衝區大小


socket.request.max.bytes=104857600


#kafka執行日誌存放的路徑


log.dirs=/opt/module/kafka/logs


#topic在當前broker上的分割槽個數


num.partitions=1


#用來恢復和清理data下資料的執行緒數量


num.recovery.threads.per.data.


dir=1


#segment檔案保留的最長時間，超時將被刪除


log.retention.hours=168


#配置連線zookeeper集群位址


zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

4）配置環境變數

[ck@hadoop102 module]$ sudo


vi /etc/profile

#kafka_home


export kafka_home=/opt/module/kafka


export path=$path:$kafka_home/bin

[ck@hadoop102 module]$ source /etc/profile

5）分發安裝包

[ck@hadoop102 module]$ sh -v  xsync kafka_2.12-2.6.1/

注意：分發之後記得配置其他機器的環境變數

6)分別在hadoop103和hadoop104上修改配置檔案/opt/module/kafka_2.12-2.6.1/config/server.properties中的broker.id=1、broker.id=2

注：broker.id不得重複

7）啟動集群

依次在hadoop102、hadoop103、hadoop104節點上啟動kafka

[ck@hadoop102 kafka_2.12-2.6.1]$ bin/kafka-server-start.sh config/server.properties &[ck@hadoop103 kafka_2.


12-2.6.1]$ bin/kafka-server-start.sh config/server.properties &[ck@hadoop104 kafka_2.


12-2.6.1]$ bin/kafka-server-start.sh config/server.properties &

8）關閉集群

[ck@hadoop102 kafka_2.12-2.6.1]$ bin/kafka-server-stop.sh


stop


[ck@hadoop103 kafka_2.


12-2.6.1]$ bin/kafka-server-stop.sh


stop


[ck@hadoop104 kafka_2.


12-2.6.1]$ bin/kafka-server-stop.sh stop

Kafka kafka的安裝以及部署的詳細描述

kafka是乙個高吞吐量的分布式訊息佇列 message queue 系統，以下是它的介紹 流 平台有三個關鍵功能 kafka通常用於兩大類應用 要了解kafka如何做這些事情，讓我們深入 kafka的能力。首先是幾個概念 下面是它的圖 一 安裝的第一步 首先 應該先上傳 解壓。然後配置相應的配置檔...

Kafka Kafka在Linux下安裝和測試

進入kafka官網 source download需要編譯才能使用 以下用kafka 2.10 0.9.0.0.tgz 版本 tar xzvfkafka 2.10 0.9.0.0.tgz cd kafka 2.10 0.9.0.0 目錄 bin 啟動和停止命令等。config 配置檔案 libs 類...

Kafka Kafka集群操作

首先進入到kafka的安裝目錄下 cd export servers kafka 2.11 1.0.0建立乙個名字為test的主題，有三個分割槽，有兩個副本 node01執行以下命令來建立topic cd export servers kafka 2.11 1.0.0 bin kafka topic...