kafka的基本使用

2021-08-11 13:13:07 字數 996 閱讀 1756

1.kafka的架構

來自官網,架構如圖所示,第一層為訊息生產者,第二層為kafka集群,第三層為訊息的消費者。

kafka的集群又由broker和topic組成,乙個broker就相當於乙個kafka,topic是相當於訊息的標籤,對應標籤給對應的消費者消費。

2.kafka的啟動

配置檔案很重要,kafka的啟動需要配置$kafka_home/config/server.properties

kafka-server-start.sh $kafka_home/config/server.properties根據配置檔案啟動kafka(先啟動zookeeper)

3.topic的建立

kafka-topics.sh --create \

--zookeeper "你的localhost":2181 \

--replication-factor 1 \副本係數

--partitions 1 \ 分割槽

--topic hello_worldtopic的名稱

4.檢視所有topic

kafka-topics.sh --list --zookeeper 「zookeeper的ip位址」:2181

5.傳送訊息

kafka-console-producer.sh --broker-list "你的localhost":9092 --topic hello_world

從這裡傳送的訊息會被消費者消費。

6.消費訊息

kafka-console-consumer.sh --zookeeper "你的localhost":2181 --topic hello_world --from-beginning

7.檢視所有topic的詳細資訊

kafka-topics.sh --describe --zookeeper hadoop000:2181

kafka基本命令使用

本文主要參考 最近開始接觸kafka,下面介紹介紹一些最基本的kafka 的操作。首先是啟動kafka。kafka依賴zookeeper,所以需要先啟動zookeeper。bin zookeeper server start.sh config zookeeper.properties然後啟動kaf...

kafka安裝和基本使用

2.將檔案解壓 3.進入 kafka 2.9.2 0.8.1.1 config 目錄 4.修改 server.properties檔案 引數 參考引數值 broker.id 0 port 9092 log.dirs kafka 2.9.2 0.8.1.1 logs zookeeper.connect...

KaFka 安裝與基本使用

學了有一段時間的大資料了,學習新的元件,大部分安裝可以分為三步 上傳解壓,配置檔案,啟動。分享一下我的kafka安裝包 1 上傳解壓 2 進入到 usr local soft kafka 2.10 0.8.2.2 config 目錄下,修改server.properties檔案 3 因為kafka是...