kafka 集群安裝與安裝測試

2022-07-17 14:42:16 字數 1462 閱讀 3327

一、集群安裝

解壓 tar zxvf kafka_2.9.2-0.8.1.tgz

$ rpm -ivh sbt.rpm

3. 更新scala環境:

sbt update

sbt package

#sbt assembly-package-dependency (sbt sbt-dependency) 不同版本命令不一致,這條命令也可以不執行

4. 配置config/server.properties

broker.id為依次增長的:0、1、2、3、4,集群中唯一id

log.dirs設定到大硬碟路徑下

num.network.threads

num.partitions ,預設分割槽數

num.io.threads 建議值為機器的核數;

zookeeper.connect 設定為zookeeper servers 列表,各節點以逗號分開;

5.在kafka的部署目錄下,在各個節點上通過如下命令來啟動:

$ nohup bin/kafka-server-start.sh config/server.properties &

6.使用jps命令可以檢視,kafka 的 broker 服務是否開啟

二、常用命令

建立topic

bin/kafka-topics.sh --zookeeper centos-server1:2181,centos-server2:2181,centos-server3:2181 --topic mytopic --replication-factor 1 --partitions 1 --create

topic列表

bin/kafka-topics.sh --zookeeper centos-server1:2181,centos-server2:2181,centos-server3:2181 --list

生產者測試

bin/kafka-console-producer.sh --broker-list centos-cm:9092,centos-server4:9092 --topic mytopic

消費者測試

bin/kafka-console-consumer.sh --zookeeper centos-server1:2181,centos-server2:2181,centos-server3:2181 --topic topicname --from-beginning

三、異常處理

報異常:

failed to load class "org.slf4j.impl.staticloggerbinder"

解決方法:

解壓unzip slf4j-1.7.6.zip

把slf4j-nop-1.7.6.jar 包複製到kafka libs目錄下面

安裝kafka 集群

wget org kafka 1.0 0 kafka 2.11 1.0 0.tgz tar zxvf kafka 2.11 1.0 0.tgz vi kafka 2.11 1.0 0 config server.properties主要修改的有如下 log.dirs home data kafka ...

kafka集群安裝

請參考上一章zookeepe集群安裝 wget org kafka 0.9 0.1 kafka 2.11 0.9 0.1 tgz tar xzf kafka 2.11 0.9 0.0 tgzbroker.id 0 整個集群內唯一id號,整數,一般從0開始 listeners plaintext 1....

kafka集群安裝

kafka 是乙個分布式 的基於發布 訂閱模式的訊息佇列 messagequeue 主要應用於大資料實時處理領域。2 解壓安裝包,解壓到 usr local下面 tar zxvf kafka 2.11 0.11.0.0.tgz c usr local 解壓之後修改名稱 mv kafka 2.11 0...