kafka的安裝以及使用

2021-10-08 04:42:15 字數 1622 閱讀 2099

.\bin\windows\kafka-server-start.bat .\config\server.properties

或bin\kafka-server-start.sh config\server.properties

1,建立主題,進入安裝目錄:d:\kafka_2.12-2.5.0,按下shift+右鍵,選擇「開啟命令視窗」選項,開啟命令列,輸入:

2,檢視主題輸入.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

3,建立生產者

不要關閉這個視窗,同時建立消費者

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
此時,往生產者視窗寫入訊息,消費者視窗也能同步的接收到訊息

檢視topic:

.\bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic

test

6、 重要(操作日誌的處理):

kafka啟動後,如果你去檢視kafka所在的根目錄,或者是kafka本身的目錄,會發現已經預設生成一堆操作日誌(這樣看起來真心很亂):

而且會不斷生成不同時間戳的操作日誌。剛開始不知所措,一番研究後,看了啟動的指令碼內容,發現啟動的時候是會預設使用到這個log4j.properties檔案中的配置,而在zoo.cfg是不會看到本身的啟動會呼叫到這個,還以為只有那乙個日誌路徑:

在這裡配置一下就可以了,找到config下的log4j.properties:

將路徑更改下即可,這樣就可以歸檔在乙個資料夾下邊了,路徑根據自己喜好定義:

另外如何消除不斷生成日誌的問題,就是同一天的不同時間會不停生成。

修改這裡,還是在log4j.properties中:

本身都為trace,字面理解為會生成一堆跟蹤日誌,將其改為info即可。

參考**:

kafka配置以及安裝

rm f consumer.properties server.properties producer.properties zookeeper.properties vi kafka config server.properties 修改broker.id 1,host.name kafka02 ...

linux安裝kafka,以及使用,各種坑

1.使用的是centos 7 2.解壓 tar xzvf kafka 2.10 0.9.0.0.tgz3.配置下conf下面的檔案不然會容易報錯 1 記憶體不足引起的,修改方法 修改conf下kafka server start.sh,zookeeper server start.sh這2個 使用v...

KafKa的介紹以及使用場景 KafKa

topic 主題 在kafka中每一條訊息都所屬乙個topic下,topic之間是完全物理隔離的 partitine 分割槽 乙個topic下面可以擁有乙個到多個partitine,partitine也是物理層面的隔離 peoduker 生產者 向kafka的topic發布訊息 consumer 消...