kafka單節點多broker部署及使用
將配置檔案server.properties複製三份
cp server.properties server-1.properties
更新配置檔案 server-1.properties 中引數
broker.id=1
listeners=plaintext://hadoop001:9093
log.dirs=/usr/soft/data/kafka-logs-1
cp server.properties server-2.properties
更新配置檔案 server-2.properties 中引數
broker.id=2
listeners=plaintext://hadoop001:9094
log.dirs=/usr/soft/data/kafka-logs-2
cp server.properties server-3.properties
更新配置檔案 server-3.properties 中引數
broker.id=3
listeners=plaintext://hadoop001:9095
log.dirs=/usr/soft/data/kafka-logs-3
啟動kafka自帶的zookeeper
./zookeeper-server-start.sh …/config/zookeeper.properties
後台啟動的三個kafka
./kafka-server-start.sh -daemon …/config/server-1.properties &
./kafka-server-start.sh -daemon …/config/server-2.properties &
./kafka-server-start.sh -daemon …/config/server-3.properties &
–建立topic
./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
–描述topic
./kafka-topics.sh --describe --zookeeper hadoop001:2181 --topic my-replicated-topic
據圖，可以看到我們成功建立了topic
啟動生產者
./kafka-console-producer.sh --broker-list hadoop001:9093,hadoop001:9094,hadoop001:9095 --topic my-replicated-topic
啟動消費者
./kafka-console-consumer.sh --bootstrap-server hadoop001:9093 --from-beginning --topic my-replicated-topic
**注意：**在生產者客戶端輸入內容，在消費者客戶端未收到訊息。了解到，kafka的預設埠是9092，我們將建立的topic my-replicated-topic 刪除
./kafka-topics.sh --delete --zookeeper hadoop001:2181 --topic my-replicated-topic
殺掉一起動kafka的程序，重新啟動3個kafka程序，
./kafka-server-start.sh -daemon …/config/server.properties &
./kafka-server-start.sh -daemon …/config/server-1.properties &
./kafka-server-start.sh -daemon …/config/server-2.properties &
–建立topic
./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
啟動生產者
./kafka-console-producer.sh --broker-list hadoop001:9092,hadoop001:9093,hadoop001:9094 --topic my-replicated-topic
啟動消費者
./kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --from-beginning --topic my-replicated-topic
在生產者控制台輸入內容
會在消費者控制台收到訊息
總結，kafka的預設埠號是9092，所以此次部署一定要啟動
./kafka-server-start.sh -daemon …/config/server.properties &
Kafka單節點多broker配置
1 啟動zookeeper zkserver.sh start 2 配置多個broker 1.在kafka安裝目錄的config目錄下拷貝 server.properties 分別為server 1.properties，server 2.properties，server 3 properties...
Kafka單節點多Broker部署
安裝好zookeeper並啟動服務 broker的編號，必須是唯一的，相當於主鍵 broker.id 0 每個broker監聽的埠 listeners plaintext 9090 日誌目錄，預設目錄在tmp下面，重啟後就會被清空，所以要重新指定乙個目錄 log.dirs root kafka tm...
kafka集群部署，多節點多broker
主機名 ip 位址 安裝路徑 系統135.36.247.91 135.36.247.91 board opt kafka 2.11 1.0.0 centos linux release 7.3.1611 core 135.36.247.92 135.36.247.92 135.36.247.93 1...