kafka 簡單介紹,以及實戰,常用命令集合

2021-08-15 12:42:57 字數 1059 閱讀 2197

建立topic 

kafka-topics --create --zookeeper hadoop08:2181,hadoop09:2181,hadoop10:2181 --replication-factor 1 --partitions 5 --topic ***

replication--->代表複製因子(副本數)

partitions---->分割槽數(建議和消費者一樣,效率高)

查詢topic

kafka-topics  --list --zookeeper hadoop08,hadoop09,hadoop10

登入zookeeper

zookeeper-client -server hadoop08,hadoop09,hadoop10

在zookeeper可以檢視消費者資訊,在consumer下面 以及topic資訊 ids資訊等,以及zookeeper管理的borker塊。

消費topic資料

kafka-console-consumer  --topic *** --zookeeper hadoop08

檢視消費者topic的broker-info資訊

kafka-consumer-offset-checker --zookeeper hadoop08 --topic *** --group ***_consumers --broker-info

檢視topic描述資訊

kafka-topics --describe --zookeeper hadoop08 --topic ***

刪除topic

kafka-topics --delete --topic *** --zookeeper hadoop10:2181

如果出現topic ***  is already marked for deletion. 說明topic沒有被真的刪除,執行如下:

進入zookeeper(登入zookeeper) 然後

1. rmr /admin/delete_topics/***(***指定刪除的topic資訊,可以使用ls檢視topic)

2. rmr /brokers/topics/***

kafka簡單介紹

參考資料 kafka 是乙個訊息系統,原本開發自 linkedin,用作 linkedin 的活動流 activity stream 和運營資料處理管道 pipeline 的基礎 使用kafka的優勢 實現了解耦合 broker kafka 集群包含乙個或多個伺服器,這種伺服器被稱為 broker。...

Kafka集群簡單介紹

2 上傳linux並解壓 tar zxvf kafka 2.11 1.0.0.tgz 3 修改server.properties檔案 1 配置kafka儲存位置,要配置為非 tmp目錄 log.dirs 非 tmp目錄 4 修改zookeeper.properties檔案 1 kafka內建了乙個z...

KafKa的介紹以及使用場景 KafKa

topic 主題 在kafka中每一條訊息都所屬乙個topic下,topic之間是完全物理隔離的 partitine 分割槽 乙個topic下面可以擁有乙個到多個partitine,partitine也是物理層面的隔離 peoduker 生產者 向kafka的topic發布訊息 consumer 消...