kafka單節點單broker的安裝部署及使用
配置環境變數
vi ~/.bash_profile
export kafka_home=/usr/soft/kafka_2.13-2.4.0
export path=kaf
kaho
me/b
in:kafka_home/bin:
kafkah
ome
/bin
:path
然後,配置kafka的配置檔案
[root@hadoop001 config]# vi server.properties
broker.id=0
listeners=plaintext://:9092
log.dirs=/usr/soft/data/kafka-logs
num.partitions=1
zookeeper.connect=hodoop001:2181
注意:以上個引數配置分別是
breker.id 必須是唯一的整形數字
listeners 監聽,採取預設配置即可
log.dirs 日誌路徑,配置成我們自己建立路徑(預設路徑會在每次系統重啟之後清除)
num.partitions 因為是單節點部署,這裡採用分割槽數量是1
zookeeper.connect 根據自己喜好配置hadoop001:2181(或缺省localhost:2181)
啟動kafka之前,首先要啟動zookeeper,zookeeper啟動過程請參考上篇文章
或者啟動kafka自帶的zookeeper,本文以啟動kafka自帶的zookeeper為例
啟動zookeeper
[root@hadoop001 bin]# ./zookeeper-server-start.sh …/config/zookeeper.properties
啟動kafka
[root@hadoop001 bin]# ./kafka-server-start.sh …/config/server.properties
建立乙個topic
[root@hadoop001 bin]# ./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic hello_test
檢視所有建立的topic
./kafka-topics.sh --list --zookeeper hadoop001:2181
啟動生產者,
[root@hadoop001 bin]# ./kafka-console-producer.sh --broker-list hadoop001:9092 --topic hello_topic
啟動消費者
[root@hadoop001 bin]# ./kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic hello_topic --from-beginning
在生產者客戶端輸入內容
可以在消費者客戶端看到輸出
至此,kafka單節點安裝部署及使用完成。
kafka單節點broker安裝
1.先安裝zookeeper 3.解壓到指定目錄 4.配置環境變數 5.配置server.properties kafka home config zookeeper zookeeper.connect 你的zookeeper位址 6.啟動 kafka server kafka server sta...
Kafka單節點多broker配置
1 啟動zookeeper zkserver.sh start 2 配置多個broker 1.在kafka安裝目錄的config目錄下拷貝 server.properties 分別為server 1.properties,server 2.properties,server 3 properties...
Kafka單節點多Broker部署
安裝好zookeeper並啟動服務 broker的編號,必須是唯一的,相當於主鍵 broker.id 0 每個broker監聽的埠 listeners plaintext 9090 日誌目錄,預設目錄在tmp下面,重啟後就會被清空,所以要重新指定乙個目錄 log.dirs root kafka tm...