安裝部署Kafka集群

2022-01-19 14:05:15 字數 2578 閱讀 1241

kafka是乙個開源的分布式訊息訂閱系統（訊息中介軟體）

安裝過程

2.上傳至/usr/local/src

3.解壓縮，並且移動到上級目錄

4.進入主目錄的config子目錄，

5.修改server.properties配置檔案

vim server.properties
內容如下：

6.儲存並退出

7.主節點配置完畢，遠端複製到另外兩個節點

scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi129:/usr/local


scp -r /usr/local/kafka_2.11-0.10.1.0   guoyansi130:/usr/local
8.修改另外兩個節點的server.properties 配置檔案

修改內容分別如下：

主機：guoyansi129　　

############################# server basics #############################


broker.


id=1


host.name=guoyansi129
主機guoyansi130

############################# server basics #############################


broker.


id=2


host.name=guoyansi130
9.啟動kafka的zookeeper服務

bin/zookeeper-server-start.sh config/zookeeper.properties
顯示一些資訊後；介面進入停頓狀態；表示zookeeper啟動成功；此時不要關閉視窗；

10.啟動主節點的kafka服務

新開乙個guoyansi128終端；

啟動方式一：退出後，kafka就自動關閉了。

bin/kafka-server-start.sh config/server.properties
由於kafka是作為守護程序載入的，執行上述命令後終端顯示停頓狀態，這表示系統已經處於後台執行狀態，

所以不要關閉該終端，只要保持當前狀態即可。

啟動方式二：退出後，kafka照常執行，提供服務。

nohup bin/kafka-server-start.sh config/server.properties >> /tmp/out.log &
上面是程序守護模式啟動kafka

還可以另外開乙個終端，執行jps檢視當前系統的程序列表

這裡的quorumpeermain就是kafka自帶的zookeeper服務程序；

而kafka自然就是kafka服務程序。

11.啟動另外兩個節點的kafka服務；執行同樣的命令：

bin/kafka-server-start.sh config/server.properties
12.主節點建立主題：

使用kafka，一定需要建立訊息主題；

建立test主題

bin/kafka-topics.sh --create -zookeeper guoyansi128:2181 --replication-factor 1 --partitions 1 --topic test
檢視主題訊息：

bin/kafka-topics.sh --list --zookeeper guoyansi128:2181
13.另起終端建立訊息生產者

bin/kafka-console-producer.sh  --broker-list guoyansi128:9092 --topic test
介面處於等待狀態

14.另起終端建立訊息接收者

bin/kafka-console-consumer.sh  --zookeeper guoyansi128:2181  --topic test --from-beginning
此時介面同樣處於等待狀態

15.從13步的介面（生產者介面）輸入資訊，就會從14步（接收者介面）看到生產者介面輸入的資訊。

16.檢視主題中的資訊：

bin/kafka-topics.sh  --describe --zookeeper guoyansi128 --topic test
17.因為是集群部署，所以可以在任何節點接收訊息和建立訊息。

kafka集群安裝部署

wget 2.tar zxvf kafka 2.12 2.1.0.tgz 解壓安裝包 3.備份kafka zookeeper配置檔案 cp server.properties server.properties.bak cp zookeeper.properties zookeeper.proper...

kafka集群安裝部署

kakfa集群部署 實驗室3臺機器 34,35,36 1 到官網 2 解壓到36伺服器 cd utxt soft qydx tar zxvf kafka 2.12 1.1.0.tgz 3 cd kafka 2.12 1.1.0 config 4 修改配置檔案 vi server.properties...

Kafka 集群部署

kafka是乙個分布式訊息佇列，需要依賴zookeeper，請先安裝好zk集群 kafka安裝包解壓 tar xf kafka 2.10 0.9.0.1 tgz mv kafka 2.10 0.9.0.1 usr kafka cd usr kafka 配置檔案 server.properties t...