kafka命令操作 詳細

kafka0.10.2.1搭建看我另一篇文章：kafka0.10.2.1集群搭建(詳細++)

在用kafka命令操作之前必須進入kafka的目錄下

cd /soft/kafka        //這裡我的kafka在soft下

bin/kafka-server-start.sh config/server.properties

bin/kafka-server-stop.sh stop

我們開啟kafka之後，此時的視窗不用退出（如下圖），這是乙個阻塞程序。開啟kafka集群後，如果我們需要進行命令操作，再開視窗開啟三颱虛擬機器就可以。

再開視窗開啟三颱虛擬機器有兩個好處：①就是在另開啟的視窗執行命令操作可以在先前視窗(阻塞程序的那個視窗)看kafka執行日誌，能看出錯誤等②關的時候方便，直接關閉阻塞程序的那幾個視窗就會將kafka關閉了。

3… 建立topic

bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 2 --partitions 2 --topic first

引數解釋：

-topic ：定義topic名

–partitions 2 ：定義分割槽有2個

-replication-factor 2：定義副本數有2個

這裡建立topic是要寫在zookeeper裡，所以埠是2181

4…檢視topic是否建立成功，看kafka集群有幾個topic

bin/kafka-topics.sh --zookeeper master:2181 --list

建立完topic後在logs(日誌檔案)內有顯示topic的分割槽，分割槽是以資料夾形式存在

5. hdfs有3個集群，副本數可以設定為10，意思是如果集群增加最大副本數不能超過10個

kafka有3個集群，副本數設定超過集群數就會報錯。

kafka副本數就是實際的副本數，而不是像hdfs副本數是最大副本數

6.傳送訊息

bin/kafka-console-producer.sh --broker-list master:9092 --topic first

回車然後游標會另起一行，有的版本會出現「>」，在「>」後面輸入你想輸的資料

有的版本沒有「>」，直接輸入資料即可

7.消費訊息

(1)bin/kafka-console-consumer.sh --zookeeper master:2181 --topic first

這條命令是消費最新的資料，就是說沒啟動消費訊息之前傳送的訊息不會接收到

(2)加上–from-beginning引數，就是從沒啟動消費訊息之前，傳送的訊息也在啟動消費訊息之後接收到

bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first

(3)這裡每次消費訊息都有乙個警告，如下問題：

這個警告原因是kafka版本問題，到了kafka高版本之後就將offset維護在kafka本地,不交給zookeeper維護就會警告

高版本之後的消費訊息用下面的命令將不會報錯：

消費最新的資料：

bin/kafka-console-consumer.sh  --bootstrap-server master:9092 --topic first

加上–from-beginning引數，就是從開始開始消費

bin/kafka-console-consumer.sh  --bootstrap-server master:9092 --topic first --from-beginning

8.檢視某個topic的詳情

bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first

如下圖：

9.刪除topic

kafka操作命令

啟動 bin kafka server start.sh daemon config server 0.properties bin kafka server start.sh daemon config server 1.properties 如果有多個server broker bin kafk...

kafka操作命令

kafka server start.bat config server.properties kafka topics.bat create zookeeper localhost 2181 replication factor 1 partitions 2 topic tm tongji kaf...

kafka常用操作命令

broker kafka集群由乙個或多個伺服器組成。每個伺服器稱為 主題 topic 維護一組訊息分類 分割槽 partition 隸屬於主題，每個主題會包含多個分割槽，訊息 msg 隸屬於分割槽，每個分割槽有乙個訊息序列，每個訊息在該分割槽中都有乙個唯一的序號，這個序號叫偏移量 生產者 produ...