kafka 安裝,使用教程

2021-09-23 17:37:30 字數 2312 閱讀 8154

記錄一下，安裝過程

風來了.fox

這裡選擇當前最新版（2016-09-07）：

scala 2.11 - kafka_2.11-0.10.0.1.tgz (asc, md5)

wget 


.tsinghua


.edu


.cn/apache/kafka/0.10


.0.1/kafka_2.11-0.10


.0.1


.tgz
tar -zxvf kafka_2.11-0.10.0.1.tgz


cd kafka_2.11-0.10.0.1
xx/bin 啟動,停止等命令。

xx/config 配置檔案

xx/libs 類庫

按如下順序啟動

啟動zookeeper server

bin/zookeeper-server-start.sh config/zookeeper.properties &
啟動kafka server

bin/kafka-server-start.sh config/server.properties &
按如下順序 停止

停止kafka server 

bin/kafka-server-stop.sh
停止zookeeper server

bin/zookeeper-server-stop.sh
執行

bin/kafka-console


-producer


.sh --broker-list localhost:9092


--topic test
bin/kafka


-console


-consumer.sh


--zookeeper


localhost:2181--


topic


test--


from


-beginning
以上 需要2個shell視窗

在producer 端輸入字串並回車，

在consumer端就會顯示 你剛輸入的資料

方法一：自動建立

bin/kafka-console


-producer


.sh --broker-list localhost:9092


--topic test
方法二：

建立乙個擁有3個副本,1個分割槽的topic

bin/kafka


-topics.sh


--create--


zookeeper


localhost:2181--


replication


-factor3-


-partitions1-


-topic


test


-new
bin/kafka


-topics.sh


--delete--


zookeeper


localhost:2181--


topic


test
刪除kafka儲存目錄（server.properties檔案log.dirs配置，預設為」/tmp/kafka-logs」）相關topic目錄刪除zookeeper 「/brokers/topics/」目錄下相關topic節點

bin/kafka


-topics.sh


--describe--


zookeeper


localhost:2181--


topic


test
輸出

topic


:test


partitioncount


:1replicationfactor


:1configs:


topic: test


partition: 0    leader: 0       replicas: 0     isr: 0
第一行是對所有分割槽的乙個描述，然後每個分割槽都會對應一行，因為我們只有乙個分割槽所以下面就只加了一行。

leader：負責處理訊息的讀和寫，leader是從所有節點中隨機選擇的.

replicas：列出了所有的副本節點，不管節點是否在服務中.

isr：是正在服務中的節點.

Kafka安裝啟動教程

前言 本文講如何安裝啟動kafka,並進行測試，其中zookeepr是kafka自帶的，本文基本按照官網文件進行安裝啟動的，並提出可能會出現的問題。官方文件 http 2 解壓到指定目錄 tar xzf kafka 2.11 1.1.0.tgz c opt 3 修改配置檔案 vim server.p...

Kafka 安裝教程（詳細步驟）

注意，須有前置環境 zookeeper 提取碼 q741 tar zxf opt kafka 2.11 2.0.0.tgz 建議將所有軟體移動至統一目錄下 mv kafka 2.11 2.0.0 opt soft kafka211 進入config目錄，並修改server檔案 cd opt soft...

mac安裝kafka詳細教程

mac環境安裝kafka homebrew方式安裝 1 brew install kafka，kafka依賴zookeeper，所以安裝後會生成kafka zookeeper兩個資料夾，分別位於 usr local cellar zookeeper usr local cellar kafka br...