第2章 Kafka集群部署

2022-06-28 02:45:11 字數 3219 閱讀 1723

# 操作前要備份


vim /usr/local/kafka/config/zookeeper.properties
輸入以下內容：

#


broker的全域性唯一編號，不能重複


broker.id=0


#刪除topic功能使能


delete.topic.enable=true


#處理網路請求的執行緒數量


num.network.threads=3


#用來處理磁碟io的現成數量


num.io.threads=8


#傳送套接字的緩衝區大小


socket.send.buffer.bytes=102400


#接收套接字的緩衝區大小


socket.receive.buffer.bytes=102400


#請求套接字的緩衝區大小


socket.request.max.bytes=104857600


#kafka執行日誌存放的路徑    


log.dirs=/opt/module/kafka/logs


#topic在當前broker上的分割槽個數


num.partitions=1


#用來恢復和清理data下資料的執行緒數量


num.recovery.threads.per.data.dir=1


#segment檔案保留的最長時間，超時將被刪除


log.retention.hours=168


#配置連線zookeeper集群位址


zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181



sudo vim /etc/profile


#kafka_home


export kafka_home=/usr/local/kafka


export path=$path:$kafka_home/bin


source /etc/profile
注意：分發之後記得配置其他機器的環境變數；分別在kafka02和kafka03上修改配置檔案/usr/local/kafka/config/zookeeper.properties中的broker.id=1、broker.id=2broker.id不得重複

依次在kafka01、kafka02、kafka03節點上啟動kafka

#


注意如果是自己配置的zk需要先啟動zk,如果是kafka自帶的zk也要先啟動zk


#下面是自動kafka自帶的zk


bin/kafka-server-start.sh -daemon config/server.properties 


#啟動kafka


bin/kafka-server-start.sh config/server.properties



#


後台啟動kafka


cd /usr/local/kafka


nohup bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &


#如果使用kafka自帶的zookeeper則需要先後臺啟動zookeeper：


bin/zookeeper-server-start.sh -daemon config/zookeeper.properties


bin/kafka-server-start.sh -daemon config/server.properties



bin/kafka-server-stop.sh stop

#


!/bin/bash


case 


$1in


"start


");;


"stop


");;


esac



bin/kafka-topics.sh --zookeeper broker2:2181 --list

[root@broker2 kafka]#


bin/kafka-topics.sh --zookeeper broker2:2181 --create --replication-factor 2 --partitions 2 --topic first


created topic first1.
選項說明：

刪除topic

$ bin/kafka-topics.sh --zookeeper broker2:2181   --delete --topic first
需要server.properties中設定delete.topic.enable=true否則只是標記刪除或者直接重啟。

$ bin/kafka-console-producer.sh   --broker-list broker2:9092 --topic first


>hello world



bin/kafka-console-consumer.sh --bootstrap-server broker2:9092 --topic first --from-beginning
--from-beginning：會把first主題中以往所有的資料都讀取出來。根據業務場景選擇是否增加該配置。

$ bin/kafka-topics.sh --zookeeper master:2181  --describe --topic first

2 Kafka 集群部署

1 解壓安裝包 hadoop hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 hadoop hadoop102 module mv kafka 2.11 0.11.0.0 kafka 3 在 o...

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...

kafka集群部署

一台伺服器上可以啟動多個broker例項，或者將broker部署到多台伺服器上，以下以172.16.50.21集群為例，多台伺服器上部署broker。tar xzf kafka 2.11 1.0.0.tgz cd kafka 2.11 1.0.0kafka依賴zookeeper，如果環境中沒有zoo...