建立topic
kafka-topics --create --zookeeper hadoop08:2181,hadoop09:2181,hadoop10:2181 --replication-factor 1 --partitions 5 --topic ***
replication--->代表複製因子(副本數)
partitions---->分割槽數(建議和消費者一樣,效率高)
查詢topic
kafka-topics --list --zookeeper hadoop08,hadoop09,hadoop10
登入zookeeper
zookeeper-client -server hadoop08,hadoop09,hadoop10
在zookeeper可以檢視消費者資訊,在consumer下面 以及topic資訊 ids資訊等,以及zookeeper管理的borker塊。
消費topic資料
kafka-console-consumer --topic *** --zookeeper hadoop08
檢視消費者topic的broker-info資訊
kafka-consumer-offset-checker --zookeeper hadoop08 --topic *** --group ***_consumers --broker-info
檢視topic描述資訊
kafka-topics --describe --zookeeper hadoop08 --topic ***
刪除topic
kafka-topics --delete --topic *** --zookeeper hadoop10:2181
如果出現topic *** is already marked for deletion. 說明topic沒有被真的刪除,執行如下:
進入zookeeper(登入zookeeper) 然後
1. rmr /admin/delete_topics/***(***指定刪除的topic資訊,可以使用ls檢視topic)
2. rmr /brokers/topics/***
kafka簡單介紹
參考資料 kafka 是乙個訊息系統,原本開發自 linkedin,用作 linkedin 的活動流 activity stream 和運營資料處理管道 pipeline 的基礎 使用kafka的優勢 實現了解耦合 broker kafka 集群包含乙個或多個伺服器,這種伺服器被稱為 broker。...
Kafka集群簡單介紹
2 上傳linux並解壓 tar zxvf kafka 2.11 1.0.0.tgz 3 修改server.properties檔案 1 配置kafka儲存位置,要配置為非 tmp目錄 log.dirs 非 tmp目錄 4 修改zookeeper.properties檔案 1 kafka內建了乙個z...
KafKa的介紹以及使用場景 KafKa
topic 主題 在kafka中每一條訊息都所屬乙個topic下,topic之間是完全物理隔離的 partitine 分割槽 乙個topic下面可以擁有乙個到多個partitine,partitine也是物理層面的隔離 peoduker 生產者 向kafka的topic發布訊息 consumer 消...