kafka配置以及安裝

2021-07-27 09:01:10 字數 1318 閱讀 7895

rm -f consumer.properties server.properties producer.properties zookeeper.properties 

vi ./kafka/config/server.properties  :修改broker.id=1,host.name=kafka02

scp /etc/hosts storm03:/etc/

scp /etc/profile storm03:/etc/

source /etc/profile

修改主機名

hostnamectl --static set-hostname kafka01

建立目錄

mkdir -p /export/data/kafka/logs

先開啟zookeeper

啟動bin/kafka-server-start.sh config/server.properties

檢視所有topic

bin/kafka-topics.sh --list --zookeeper zk01:2181

建立topic

bin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 1 --topic freered

刪除topic(需要server.properties中設定delete.topic.enable=true,否則只是宣告刪除或者直接重啟)

bin/kafka-topics.sh  --delete --zookeeper zk01:2181 --topic freered

通過shell傳送訊息

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic freered

用localhost會出錯

bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic freered

消費訊息

kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic freered

檢視消費位置

kafka-run-class.sh kafka.tools.consumeroffsetchecker --zookeeper zk01:2181 --group ***

檢視某個topic詳情

kafka-topics.sh --topic freered --describe --zookeeper zk01:2181

kafka的安裝以及使用

bin windows kafka server start.bat config server.properties 或bin kafka server start.sh config server.properties 1,建立主題,進入安裝目錄 d kafka 2.12 2.5.0,按下shi...

kafka安裝與配置

以上兩個程式需一直開啟!第三步 建立主題,開啟cmd命令 路徑 kafka 2.10 0.10.0.0 命令 bin windows kafka topics.bat create zookeeper localhost 2181 replication factor 1 partitions 1 ...

Kafka安裝配置

kafka執行依賴 zookeeper,如未安裝zookeeper請參考 zookeeper安裝使用 kafka版本問題 這又是一大坑 如果你的storm安裝的是1.0.x系列或更低的版本,建議你安裝0.8.x.x版本的kafka。如果你的storm安裝的是1.1.x系列或更高的版本,建議你安裝0....