安裝步驟見:zookeeper部署
解壓包上傳至linux伺服器opt目錄下
cd /opt
# 解壓tgz包
tar xvf kafka_2.12-2.3.0.tgz
// 修改server.properties配置檔案
vi /opt/kafka_2.12-2.3.0/config/server.properties
# broker的全域性唯一編號,不能重複
broker.id=0
# 監聽
listeners=plaintext://:9092
# 日誌目錄
log.dirs=/home/hadoop/kafka-logs
# 配置zookeeper的連線(如果不是本機,需要該為ip或主機名)
zookeeper.connect=localhost:2181
// 啟動kafka
/opt/kafka_2.12-2.3.0/bin/kafka-server-start.sh /opt/kafka_2.12-2.3.0/config/server.properties
# 使用jps名稱檢視是否正常執行
$ jps
9173 kafka
9462 jps
8589 quorumpeermain
bin目錄下:
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
引數說明:
–zookeeper:指定kafka連線zk的連線url,該值和server.properties檔案中的配置項一樣
–replication-factor:指定副本數量
–partitions:指定分割槽數量
–topic:主題名稱
bin目錄下:
kafka-topics.sh --list --zookeeper localhost:2181
bin目錄下:
./kafka-console-producer.sh --broker-list localhost:9092 --topic test
bin目錄下:
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
tips:
1. --from-beginning 是否消費原始資料(該消費者啟動器產生的資料)
2. 舊版使用引數--zookeeper localhost:2181(consumer的資訊將會存放在zk中)新版使用引數:--bootstrap-server localhost:9092(consumer的資訊將會存放在kafka中)
Kafka 單機kafka部署
1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...
kafka單機部署
2 解壓 tar zxvf kafka 2.12 0.11.0.3.tgz c local sda kafka3 使用kafka自帶的zookeeper,修改zookeeper.properties cd local sda kafka kafka 2.12 0.11.0.3 進入kafka主目錄 ...
Kafka 單機部署
kafka 單機部署區分整合zookeeper 部署和zookeeper kafka 部署倆總方式,如果是單機部署kafka,整合zookeeper 最簡單,也可以選擇zookeeper kafka 這種模式,但是如果為kafka集群的話,則必須需要部署 zookeeper 集群。一.獲取解壓wge...