linux安裝kafka,以及使用,各種坑

2021-08-22 04:51:47 字數 1514 閱讀 7927

1.使用的是centos 7

2.解壓

tar -xzvf kafka_2.10-0.9.0.0.tgz
3.配置下conf下面的檔案不然會容易報錯:

1)記憶體不足引起的,修改方法:修改conf下kafka-server-start.sh,zookeeper-server-start.sh這2個

使用vi kafka-server-start.sh

原來:

export kafka_heap_opts="-xmx1g -xms1g"
修改:

export kafka_heap_opts="-xmx256m -xms128m"
2)還有乙個報錯:

在producer的console端輸入字串,consumer報connection refused錯誤

解決方案:

broker, producer和consumer都註冊到zookeeper上,producer和consumer的引數明確指定。問題出在broker的配置檔案server.properties上:

# hostname the broker will bind to. if not set, the server will bind to all inte***ces

#host.name=localhost

host名稱沒有指定,就是127.0.0.1,consumer去broker拿資料就有問題。設定為具體伺服器ip位址,重啟服務就好了

4.啟動服務:

啟動zookeeper server:

bin/zookeeper-server-start.sh config/zookeeper.properties &

&是為了能退出命令列

啟動kafka server:

bin/kafka-server-start.sh config/server.properties &

停止kafka server:

bin/kafka-server-stop.sh

停止zookeeper server: 

bin/zookeeper-server-stop.sh

5.建立topic(kafka自帶的建立訊息生產者,消費訊息者)

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

這個跟其他mq一樣,都有有乙個topic,然後接收方根據這個topic進行接收

>this is dajitui 

>hhh

這個是輸入訊息的過程

消費:bin/kafka-console-consumer.sh --zookeeper localhost:2181 —topic test

會輸出你剛剛輸入的2條訊息

程式的話可以看下:

springboot版本的整合

kafka配置以及安裝

rm f consumer.properties server.properties producer.properties zookeeper.properties vi kafka config server.properties 修改broker.id 1,host.name kafka02 ...

Pycharm Anaconda安裝以及使用

pycharm 兩個環境變數 anaconda和anaconda scripts的路徑 清華映象 python裡的pip是官方自帶的源,國內使用pip安裝的時候十分緩慢,所以最好是更換成中國國內的源位址。目前國內靠譜的 pip 映象源有 清華 豆瓣 阿里 建議使用清華的,豆瓣和阿里的好像是有些問題,...

VisualSVN Server 安裝以及使用教程

visualsvn server是免費的 管理工具 visualsvn server是svn的伺服器端 安裝visualsvn server示例 1 雙擊visualsvn server 3.5.6 x64.msi出現下圖,點選 next 按鈕 2 同意安裝協議,並且 點選 next 按鈕 3 選擇...