kafka安裝使用筆記

kafka-2.11-2.0.0

[root@lijia1 config]# vi ./server.properties

broker.id=0

advertised.listeners=plaintext://zhang:9092

log.dirs=/opt/bigdata/kafka211/kafka-logs

zookeeper.connect=zhang:2181

delete.topic.enable=true

// 配置環境變數

export kafka_home=/opt/bigdata/kafka211

export path=pat

h:

path:

path

:kafka_home/bin

// 啟動kafka

[root@lijia1 kafka211]# kafka-server-start.sh ./config/server.properties

[root@lijia1 kafka211]# kafka-server-start.sh -daemon ./config/server.properties

// 建立topic

[root@lijia1 kafka211]# kafka-topics.sh --create --zookeeper zhang:2181 --topic kb07demo --partitions 3 --replication-factor 1

created topic 「kb07demo」.

// 檢視當前kafka中的topic

[root@lijia1 kafka211]# kafka-topics.sh --zookeeper zhang:2181 --list

// 檢視topic詳情

[root@lijia1 kafka211]# kafka-topics.sh --zookeeper zhang:2181 --describe --topic kb07demo

// 刪除topic

[root@lijia1 kafka211]# kafka-topics.sh --zookeeper 127.0.0.1:2181 --delete --topic kb05

// 建立生產者，產生資料

[root@lijia1 kafka211]# kafka-console-producer.sh --topic kb07demo --broker-list zhang:9092

// 建立消費者，重頭開始取資料

[root@lijia1 ~]# kafka-console-consumer.sh --bootstrap-server zhang:9092 --topic kb07demo --from-beginning

// 檢視topic訊息佇列數量

[root@lijia1 config]# kafka-run-class.sh kafka.tools.getoffsetshell --broker-list zhang:9092 --topic kb07demo -time -1 --offsets 1

kb07demo:0:1

kb07demo:1:2

kb07demo:2:1

kafka使用筆記

1.安裝zookeeper bash 收藏 ticktime 2000 clientport 4180 引數說明 ticktime zookeeper中使用的基本時間單位,毫秒值.datadir 資料目錄.可以是任意目錄.datalogdir log目錄,同樣可以是任意目錄.如果沒有設定該引數,將使...

KafKa使用筆記

kafka使用筆記 快速開始 關閉防火牆 版本 kafka 2.12 1.0.0 tgz zookeeper集群 hdp1,hdp2,hdp3 kafka集群搭建 hdp1,hdp2,hdp3 一 配置檔案 在hdp1下 vim kafka 2.12 1.0.0 config server.prop...

Kafka使用筆記

1.1定義 kafka 是乙個分布式的基於發布 訂閱模式的訊息佇列 message queue 主要應用於 大資料實時處理領域。1.2 訊息佇列 1.2.1 傳統訊息佇列的應用場景 訊息佇列好處 1.2.2 訊息佇列兩種模式 1 點對點模式 一對一，消費者主動拉取資料，訊息收到後訊息清除 2 2 發...