kafka的配置和分布式部署

一、相關概念介紹

2. 配置

三、服務啟動和測試

1. 建立topic

2. 服務啟動

3.測試

kafka是一種高吞吐量的分布式發布訂閱訊息系統，它可以處理消費者在**中的所有動作流資料。kafka的分布式部署依賴於zookeeper。安裝配置zookeeper請參閱：zookeeper的配置和分布式部署

說明：三颱機器的主機名分別為：bigdata.centos01、bigdata.centos02、bigdata.centos03

kafka集群包含乙個或多個伺服器，這種伺服器被稱為broker

訊息生產者，負責發布訊息

訊息消費者，複製從broker拉取訊息進行處理

每條發布到kafka集群的訊息都有乙個類別，這個類別被稱為topic

每個topic可以有乙個或者多個partition，合理設定partition的數量，能夠提高吞吐效率。每個partition在物理上對應乙個資料夾，該資料夾下儲存這個partition的所有訊息和索引檔案。若建立topic_1和topic_2兩個topic，分別有11個和19個分割槽，則整個集群上會相應會生成共30個資料夾

每個consumer屬於乙個特定的consumer group

wget

# broker的唯一標識 ##centos01配置的是0，centos02配置的是1，centos03配置的是2 broker.id=0 # kafka所在機器的主機名，三颱機器各不相同 host.name=bigdata.centos01 # 日誌檔案目錄 log.dirs=/opt/modules/kafka_2.11-0.8.2.1/logs # zookeeper集群 zookeeper.connect=bigdata.centos01:2181,bigdata.centos02:2181,bigdata.centos03:2181

# 集群broker的配置 metadata.broker.list=bigdata.centos01:9092,bigdata.centos02:9092,bigdata.centos03:9092

# --replication-factor指定副本數 # --partitions分割槽數 # --topic指定topic名稱 bin/kafka-topics.sh --create --zookeeper bigdata.centos01:2181,bigdata.centos02:2181,bigdata.centos03:2181 --replication-factor 1 --partitions 1 --topic test

bin/kafka-server-start.sh config/server.properties

bin/kafka-console-producer.sh --broker-list bigdata.centos01:9092,bigdata.centos02:9092,bigdata.centos03:9092 --topic test

bin/kafka-console-consumer.sh --zookeeper bigdata.centos01:2181,bigdata.centos02:2181,bigdata.centos03:2181 --topic test --from-beginning

kafka的配置和分布式部署

Kafka合集四 Kafka分布式集群部署

Docker ELK 分布式部署配置

分布式部署

kafka的配置和分布式部署

Kafka合集 四 Kafka分布式集群部署

Docker ELK 分布式部署配置

分布式部署

相關推薦

Kafka合集四 Kafka分布式集群部署