kafka 啟動 建立 檢視筆記

2021-10-23 12:54:16 字數 2154 閱讀 3580

kafka-2.11-2.0.0

[root@lijia1 config]# vi .


/server.properties


broker.id=


0advertised.listeners=plaintext://


192.168


.106


.141


:9092


log.dirs=


/opt/bigdata/kafka211/kafka-logs


zookeeper.connect=


192.168


.106


.107


:2181


delete.topic.enable=true
// 配置環境變數

export kafka_home=


/opt/bigdata/kafka211


export path=$path:$kafka_home/bin
// 啟動kafka

[root@lijia1 kafka211]# kafka-server-start.sh .


/config/server.properties


[root@lijia1 kafka211]# kafka-server-start.sh -daemon .


/config/server.properties
// 建立topic

[root@lijia1 kafka211]# kafka-topics.sh --create --zookeeper 192.168


.106


.141


:2181


--topic kb07demo --partitions 3


--replication-factor 1


created topic "kb07demo"


.
// 檢視當前kafka中的topic

[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 192.168


.106


.141


:2181


--list
// 檢視topic詳情

[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 192.168


.106


.141


:2181


--describe --topic kb07demo
isr 選擇相應速度快，訊息數量最多的副本用於備用leader 宕機後選舉相應最快，訊息數量最多的當選

// 刪除topic

[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 127.0


.0.1


:2181


--delete --topic kb05
// 建立生產者，產生資料

[root@lijia1 kafka211]# kafka-console-producer.sh --topic kb07demo --broker-list 192.168


.106


.141


:9092
// 建立消費者，重頭開始取資料

[root@lijia1 ~


]# kafka-console-consumer.sh --bootstrap-server 192.168


.106


.141


:9092


--topic kb07demo --from-beginning
// 檢視topic訊息佇列數量

[root@lijia1 config]# kafka-run-class.sh kafka.tools.getoffsetshell --broker-list 192.168


.106


.141


:9092


--topic kb07demo -time -


1--offsets 1

kafka 檢視待消費資料 kafka檢視消費資料

kafka檢視消費資料 一 如何檢視 在老版本中，使用kafka run class.sh 指令碼進行檢視。但是對於最新版本，kafka run class.sh 已經不能使用，必須使用另外乙個指令碼才行，它就是kafka consumer groups.sh 普通版檢視所有組 要想查詢消費資料，必...

kafka 檢視待消費資料 kafka檢視消費資料

一 如何檢視 在老版本中，使用kafka run class.sh 指令碼進行檢視。但是對於最新版本，kafka run class.sh 已經不能使用，必須使用另外乙個指令碼才行，它就是kafka consumer groups.sh 普通版檢視所有組 要想查詢消費資料，必須要指定組。那麼線上執行...

Kafka補充及啟動kafka

補充 kafka中可以有多個broker,我們理解時可以把broker當做乙個新華書店理解 broker中可以有多個topic，topic是邏輯分割槽及邏輯存在的主題，不儲存資料 topic中可以有多個partition 分割槽 partition是真正存放資料的地方，乙個partition是乙個強...