Kafka集群環境搭建

kafka集群需要zookeeper集群來進行管理，需要預先安裝，安裝教程如下：

kafka 由linkedin(領英)全球職場社交平台公司開發，貢獻給apache成為頂級專案，是乙個分布式的流平台。它具有以下特點：

這裡解釋一下 kafka 安裝包的命名規則：以kafka_2.11-2.4.1.tgz為例，前面的 2.11 代表 scala 的版本號（kafka 採用 scala 語言進行開發），後面的 2.4.1 則代表 kafka 的版本號。

[xiaokang@hadoop01 ~]$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -c /opt/software/
#重新命名
[xiaokang@hadoop01 software]$ mv /opt/software/kafka_2.11-2.4.1/ /opt/software/kafka-2.4.1

[xiaokang@hadoop01 ~]$ sudo vim /etc/profile

在原來基礎上更新配置環境變數：

export kafka_home=/opt/software/kafka-2.4.1 export path= $/bin:$/bin:$/sbin:$/bin:$/bin:$/bin:$/bin:$/bin:$path

使得配置的環境變數生效：

[xiaokang@hadoop01 ~]$ source /etc/profile

在 kafka 安裝目錄下建立kafka-logs資料夾（用來儲存分割槽資訊的，不要把它與存放錯誤日誌的目錄混淆了，日誌目錄是配置在log4j.properties檔案裡的）

[xiaokang@hadoop01 ~]$ mkdir /opt/software/kafka-2.4.1/kafka-logs

進入安裝目錄的config/目錄下，修改配置檔案server.properties：

# broker的全域性唯一標識號，不能重複. 給集群中的每個broker配置乙個不同的id broker.id=0 # 分割槽資料的儲存位置 log.dirs=/opt/software/kafka-2.4.1/kafka-logs # 連線zookeeper集群位址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

分發之後需要修改 **broker.id( id 值一定不能重複. )**的值，同時建議其他節點的環境變數也配置下。

[xiaokang@hadoop01 ~]$ scp -r /opt/software/kafka-2.4.1/ xiaokang@hadoop02:/opt/software
[xiaokang@hadoop01 ~]$ scp -r /opt/software/kafka-2.4.1/ xiaokang@hadoop03:/opt/software

使用下面命令啟動即可：

#先啟動3個節點的zookeeper zkserver.sh start #再啟動3個節點的kafka kafka-server-start.sh /opt/software/kafka-2.4.1/config/server.properties

建立測試主題：

[xiaokang@hadoop01 ~]$ kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 3 --partitions 1 --topic xiaokang #kafka-topics.sh 任何和 topic 相關的操作都使用這個命令 #--create 表示建立乙個 topic #--zookeeper 指明任意乙個 zookeeper 伺服器位址 #--replication-factor 表示每個 topic 的副本數. 注意: 副本數必須小於等於 kafka 集群的數量. #--partitions 這個 topic 的分割槽的數量 #--topic 這個 topic 的名字.

建立完成後可以使用以下命令檢視建立的主題資訊：

[xiaokang@hadoop01 ~]$ kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic xiaokang

可以看到分割槽 0 的有 0,1,2 三個副本，且三個副本都是可用副本，都在 isr(in-sync replica 同步副本) 列表中，其中 2 為首領副本，此時代表集群已經搭建成功。

Kafka集群環境搭建

Kafka集群環境搭建

kafka 集群環境搭建

kafka集群環境搭建

Kafka集群環境搭建

Kafka集群環境搭建

kafka 集群環境搭建

kafka集群環境搭建

相關推薦