./kafka-run-class.sh kafka.tools.getoffsetshell --broker-list node01:9092,node02:9092,node03:9092 --topic 18bd12
建立乙個名字為test的主題, 有三個分割槽,有兩個副本
hadoop01執行以下命令來建立topic
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 2 --partitions 3 --topic test
檢視kafka當中存在的主題
hadoop01使用以下命令來檢視kafka當中存在的topic主題
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --list --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181
模擬生產者來生產資料
hadoop01伺服器執行以下命令來模擬生產者進行生產資料
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-console-producer.sh --broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic test
hadoop02執行以下命令來模擬消費者進行消費資料,這個是控制台模擬消費,常用於臨時檢視資料
cd /export/servers/kafka_2.11-1.0.0
bin/ kafka-console-consumer.sh --from-beginning --topic test --bootstrap-server hadoop01:9092
hadoop01執行以下命令執行describe檢視topic的相關資訊
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --describe --zookeeper hadoop01:2181 --topic test
結果說明:
這是輸出的解釋。第一行給出了所有分割槽的摘要,每個附加行提供有關乙個分割槽的資訊。由於我們只有乙個分 區用於此主題,因此只有一行。
「leader」是負責給定分割槽的所有讀取和寫入的節點。每個節點將成為隨機選擇的分割槽部分的領導者。(因為在kafka中 如果有多個副本的話,就會存在leader和follower的關係,表示當前這個副本為leader所在的broker是哪乙個)
「replicas」是複製此分割槽日誌的節點列表,無論它們是否為領導者,或者即使它們當前處於活動狀態。(所有副本列表 0 ,1,2)
「isr」是「同步」複製品的集合。這是副本列表的子集,該列表當前處於活躍狀態並且已經被領導者捕獲。(可用的列表 數)
任意kafka伺服器執行以下命令可以增加topic分割槽數
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicname --partitions 8
動態修改kakfa的配置
任意kafka伺服器執行以下命令可以增加topic分割槽數
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --zookeeper hadoop01:2181 --alter --topic test --config flush.messages=1
bin/kafka-topics.sh --zookeeper flink01:2181 -alter --partitions 3 --topic auditfile
動態刪除kafka集群配置
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-topics.sh --zookeeper hadoop01:2181 --alter --topic test --delete-config flush.messages
delete.topic.enable=true
然後執行以下命令進行刪除topic
kafka-topics.sh --zookeeper zkhost:port --delete --topic topicname
Kafka集群操作
目錄 1 建立topic 2 檢視主題命令 3 生產者生產資料 4 消費者消費資料 5 執行describe topics命令 6 增加topic分割槽數 7 增加配置 8 刪除配置 9 刪除topic 建立乙個名字為test的主題,有三個分割槽,有兩個副本 node01執行以下命令來建立topic...
Kafka集群操作
建立乙個名字為test的主題,有三個分割槽,有兩個副本 node01執行以下命令來建立topic cd export servers kafka 2.11 1.0.0 bin kafka topics.sh create zookeeper node01 2181 replication facto...
kafka集群環境部署及相關操作
2.kafka的shell操作 2.2生產資料 2.3消費資料 3.總結 安裝節點要求 1.1上傳安裝包 put c kafka 2.11 1.1.1.tgz1.2解壓 1.3配置環境變數 vim bash profile按g跳到最後一行按o向下插入,儲存退出 export path path ka...