linux 搭建 kafka集群

wget

tar -zxvf kafka_2.11-0.10.2.0.tgz

mkdir kafka-logs

cd soft-kafka/kafka_2.11-0.10.2.0/config

vi server.properties 修改

#broker.id=0  注釋掉，每台伺服器的broker.id都不能相同,

也可以自己自定義，不能相同

#在log.retention.hours=168 下面新增下面三項    

message.max.byte=5242880

default.replication.factor=2

replica.fetch.max.bytes=5242880

#設定zookeeper的連線埠

zookeeper.connect=192.168.0.15:12181,192.168.0.16:12181:12181,192.168.0.17:12181

./bin/zookeeper-server-start.sh config/zookeeper.properties &

./bin/kafka-server-start.sh config/server.properties

6.1 建立topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

6.2 檢視topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

6.3 啟動生產者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

6.4 啟動消費者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

出現下面異常，請將localhost換成具體ip

[2017-06-06 14:03:17,516] error error when sending message to topic test with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.errorloggingcallback)

org.apache.kafka.common.errors.timeoutexception: failed to update metadata after 60000 ms.

linux搭建kafka集群

tar zxvf kafka 2.12 2.3.1.tgz新增環境變數 開啟環境變數配置檔案 vim etc profile加入kafka配置 export kafka home usr local programs kafka 2.12 2.3.1 export path bin path 讓環境...

linux 下搭建kafka集群

sudo vim etc profile 在末尾附加 export path opt kafka zookeeper bin path 最後 source etc profile2.需先搭建zookeeper環境 cp zoo sample.cfg zoo.cfg 在 conf裡面 vim zoo....

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....