記使用docker配置kafka

2021-10-04 11:28:08 字數 1580 閱讀 2334

1.kafka需要依賴zookeeper使用了wurstmeister/kafka和wurstmeister/zookeeper這兩個版本的映象

1、docker pull wurstmeister/zookeeper

2、docker pull wurstmeister/kafka

2.啟動zookeeper

1.docker run -it --name zookeeper -p 2181:2181 -d wurstmeister/zookeeper

3.啟動kafka命令

1.docker run -d --name kafka -p 9092:9092 -e kafka_broker_id=1 -e kafka_auto_create_topics_enable=true -e kafka_heap_opts="-xmx256m -xms128m" -e     kafka_zookeeper_connect=公網ip:2181 -e kafka_advertised_listeners=plaintext://公網ip:9092 -e kafka_listeners=plaintext: -t wurstmeister/kafka

/配置分組id

kafka_broker_id=1

//開啟自動建立主題(不然**整合服務後啟動報錯,必須自己手動到服務上建立)

kafka_auto_create_topics_enable=true

//連線zookeeper

kafka_zookeeper_connect=公網ip:2181

//預設記憶體1g自己伺服器太小,調小一點不然啟動報錯記憶體溢位(此處也比較坑)

kafka_heap_opts="-xmx256m -xms128m"

//配置外網ip訪問kafka

kafka_advertised_listeners=plaintext://公網ip:9092

4.啟動無法訪問外網問題

1.進入hosts檔案

vi /etc/hosts

//新增公網ip

公網ip

5.測試

進入kafka

docker exec it kafka /bin/bash

cd opt/kafka

建立主題

bin/kafka-topics.sh --create --zookeeper 公網ip:2181 --replication-factor 1 --partitions 1 --topic hello

檢視主題列表:

bin/kafka-topics.sh --list --zookeeper 公網ip:2181

執行乙個訊息生產者,指定topic為剛剛建立的主題:

bin/kafka-console-producer.sh --broker-list 公網ip:9092 --topic hello

建立kafka消費者(這是新版本建立消費者,老版本是使用zookeeper)

bin/kafka-console-consumer.sh --bootstrap-server公網ip:9092 --topic mykafka --from-beginning

記錄一下自己配置過程中踩得一些坑

單台機器使用docker安裝啟動kafka

kafaka執行需要zookeeper,docker拉取映象 docker pull wurstmeister zookeeper docker pull wurstmeister kafka啟動 docker run d name zookeeper p 2181 2181 t wurstmeis...

docker的配置使用

相關鏈結 error could not create library python 2.7 site packages permission denied 可能是檔案寫入許可權不過,需要加sudo,比如 sudo pip install flask 什麼是docker?docker是乙個開源的引擎...

記一次docker配置Ubuntu容器

建立乙個ubuntu18的docker容器,在後台執行,並命名為ubuntu18 docker run itd name ubuntu18 ubuntu 18.04 進入容器 docker exec it ubuntu18 bin bash 切換到 etc apt cd etc apt 備份sour...