利用docker可以很方便的在一台機子上搭建kafka集群並進行測試。為了簡化配置流程，我們採用docker-compose進行進行搭建。
docker環境的部署參考：
docker-compose的部署參考：
kafka搭建過程如下：
編寫docker-compose.yml檔案,內容如下:
version: '3.3'
services:
zookeeper:
image: wurstmeister/zookeeper
ports:
- 2181:2181
container_name: zookeeper
networks:
default:
ipv4_address: 172.19.0.11
kafka0:
image: wurstmeister/kafka
depends_on:
- zookeeper
container_name:kafka0
ports:
- 9092:9092
environment:
kafka_advertised_listeners: plaintext://kafka0:9092
kafka_listeners: plaintext://kafka0:9092
kafka_zookeeper_connect: zookeeper:2181
kafka_broker_id: 0
volumes:
- /home/icefalcon/kafka0/data:/data
- /home/icefalcon/kafka0/log:/datalog
networks:
default:
ipv4_address: 172.19.0.12
kafka1:
image: wurstmeister/kafka
depends_on:
- zookeeper
container_name:kafka1
ports:
- 9093:9093
environment:
kafka_advertised_listeners: plaintext://kafka1:9093
kafka_listeners: plaintext://kafka1:9093
kafka_zookeeper_connect: zookeeper:2181
kafka_broker_id: 1
volumes:
- /home/icefalcon/kafka1/data:/data
- /home/icefalcon/kafka1/log:/datalog
networks:
default:
ipv4_address: 172.19.0.13
kafka2:
image: wurstmeister/kafka
depends_on:
- zookeeper
container_name:kafka2
ports:
- 9094:9094
environment:
kafka_advertised_listeners: plaintext://kafka2:9094
kafka_listeners: plaintext://kafka2:9094
kafka_zookeeper_connect: zookeeper:2181
kafka_broker_id: 2
volumes:
- /home/icefalcon/kafka2/data:/data
- /home/icefalcon/kafka2/log:/datalog
networks:
default:
ipv4_address: 172.19.0.14
networks:
default:
external:
name: zookeeper_kafka
建立子網
docker network create --subnet 172.19.0.0/16 --gateway 172.19.0.1 zookeeper_kafka執行docker-compose命令進行搭建
docker-compose -f docker-compose.yml up -d輸入
docker ps -a命令如能檢視到我們啟動的三個服務且處於執行狀態說明部署成功
測試kafka輸入
docker exec -it kafka0 bash進入kafka0容器，並執行如下命令建立topic
/opt/kafka_2.13-2.6.0/bin/kafka-topics.sh --create --topic chat --partitions 5 --zookeeper 192.168.199.163:2181 --replication-factor 3 created topic chat.輸入如下命令開啟生產者
/opt/kafka_2.13-2.6.0/bin/kafka-console-producer.sh --broker-list kafka0:9092 --topic chat開啟另乙個shell介面進入kafka2容器並執行下列命令開啟消費者
/opt/kafka_2.13-2.6.0/bin/kafka-console-consumer.sh --bootstrap-server kafka2:9094 --topic chat --from-beginning在Docker環境下部署Kafka
這裡使用了wurstmeister kafka和wurstmeister zookeeper這兩個版本的映象 docker pull wurstmeister zookeeperdocker pull wurstmeister kafka在命令中執行docker images驗證兩個映象已經安裝完畢...
Docker 環境下部署 redash
環境 centos7 1 虛擬機器安裝 安裝vmware，並安裝centos7 2 安裝docker docker安裝手冊 3 安裝nodejs centos下安裝nodejs 4 redash安裝 1 clone git repostory git clone 2 create docker se...
在centos環境下部署yara
今天接到乙個任務 在centos的環境下部署yara，沒系統版本要求，能執行yara。本文純屬個人安裝成功後的總結與心得。如有重複，還請見諒。本次安裝採用的是編譯安裝的安裝方式 在安裝之前請先確定你的系統中是否已經安裝automake libtool make 和 gcc 沒有請安裝。安裝命令如下 ...