kafka入門指南(一)阿里雲安裝kafka服務

2021-10-05 03:43:12 字數 2151 閱讀 4838

2、解壓:

tar -zxf kafka_2.11-0.10.2.0.tgz

ln -s kafka_2.11-0.10.2.0 kafka

3.配置環境變數

vim ~/.bashrc

新增如下語句:

檔案最後

export kafka_home=~/soft/kafka

export path=$path:$kafka_home/bin

4、配置檔案:

vim config/server.properties

內容:listeners = plaintext:

advertised.listeners=plaintext://hostname:9092

zookeeper.connect=hostname:2181

vim hosts

內容:xx.xx.xx.xx hostname

1、啟動 zookeeper

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper.log 2>&1 &

2、啟動 kafka

nohup bin/kafka-server-start.sh config/server.properties > kafka.log 2>&1 &

新建topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

檢視tpic:

bin/kafka-topics.sh --list --zookeeper localhost:2181

刪除tpic:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic play***

生產者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test3

消費者:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test3 --from-beginning

消費者:

from kafka import kafkaconsumer

consumer = kafkaconsumer('test', bootstrap_servers= ['localhost:9092'])

for msg in consumer:

print(msg)

生產者:

from kafka import kafkaproducer

producer = kafkaproducer(bootstrap_servers=['localhost:9092'])

for i in range(3):

msg = "msg%d " % i

producer.send('test', msg)

producer.close()

報錯:記憶體不足

(1)、cannot allocate memory

解決辦法:

將 kafka-server-start.sh的

export kafka_heap_opts="-xmx1g -xms1g"

修改為export kafka_heap_opts="-xmx256m -xms128m"

因為我的記憶體是1g

(2)、埠占用

netstat -tunlp |grep :2181

netstat -tunlp |grep :9092

sudo kill -9 pid

(3)、重複啟動

rm /tmp/kafka-logs/.lock

阿里雲 安裝 tomcat

wget 解壓gz包 在 usr local apache目錄下 tar zxvf apache tomcat 8.0.39.tar.gz 使用 vi 命令開啟 etc profile 檔案,終端輸入 sudo vi etc profile 在最後一行之前加入 export tomcat home ...

阿里雲安裝redis

解壓 tar vxf redis 3.2.6.tar.gz 看看安裝了gcc沒有whereis gcc 沒有則需要安裝gcc yum install gcc 編譯 cd redis 3.2.6 make make install 安裝tcl wget tar xvf tcl8.6.6 src.tar...

阿里雲安裝mongodb

參考 參考安裝 進入shell 參考bin目錄下輸入 mongo show dbs 在mongodb新版本裡並沒有admin資料庫,但是並不妨礙第2步操作。use admin進入admin資料庫 建立管理員賬戶 db.createuser mongodb中的使用者是基於身份role的,該管理員賬戶的...