Kafka Kafka集群操作

首先進入到kafka的安裝目錄下

cd /export/servers/kafka_2.11-1.0.0

node01執行以下命令來建立topic

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic test

然後執行以下命令進行刪除topic

kafka-topics.sh --zookeeper zkhost:port --delete --topic topicname

node01使用以下命令來檢視kafka當中存在的topic主題

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh  --list --zookeeper node01:2181,node02:2181,node03:2181

node01伺服器執行以下命令來模擬生產者進行生產資料

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

cd /export/servers/kafka_2.11-1.0.0

bin/ kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node01:2181,node02:2181,node03:2181

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --describe --zookeeper node01:2181 --topic test

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicname --partitions 8

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --config flush.messages=1

動態刪除kafka集群配置

cd /export/servers/kafka_2.11-1.0.0

bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --delete-config flush.messages

Kafka kafka集群環境搭建

1.初始化環境準備 安裝jdk，安裝zookeeper並保證zk服務正常啟動 wget 3.node01伺服器修改kafka配置檔案 1 node01執行以下命令建立資料檔案存放目錄 mkdir p export servers kafka 2.11 1.0.0 logs 進入到kafka的配置檔案...

Kafka Kafka安裝部署

hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 1 解壓安裝包 ck hadoop102 software tar zxvf kafka 2.12 2.6.1.tgz c opt module 2 在 opt module kafka...

kafka kafka主要元件說明

producer主要是用於生產訊息，是kafka當中的訊息生產者，生產的訊息通過topic進行歸類，儲存到kafka的broker裡面去 kafka當中，topic是訊息的歸類，乙個topic可以有多個分割槽，每個分割槽儲存部分topic的資料，所有的partition當中的資料全部合併起來，就是乙...