1.修改
server.properties
檔案
broker.id=11 #192.168.199.11 #21一般使用ip後三位broker.id=12 #192.168.199.12 #21 一般使用ip後三位listeners=plaintext://
192.168.199.11:9092 #34
log.dirs=/home/pengbo.zhao/data/kafka #63zookeeper.connect=192.168.199.11:2181,192.168.199.12:2181,192.168.199.13:2181/kafka #119
//注意:這裡後面連線的url後面加了"/kafka",詳見kafka server.properties 配置檔案詳解
listeners=plaintext: #34
log.dirs=/home/pengbo.zhao/data/kafka #63
zookeeper.connect=192.168.199.11:2181,192.168.199.12:2181,192.168.199.13:2181/kafka #119
broker.id=13 #192.168.199.13 #21 一般使用ip後三位
listeners=plaintext: #34
log.dirs=/home/pengbo.zhao/data/kafka #63
zookeeper.connect=192.168.199.11:2181,192.168.199.12:2181,192.168.199.13:2181/kafka #119
//注意:這裡後面連線的url後面加了"/kafka",詳見kafka server.properties 配置檔案詳解
bin/kafka-server-start.sh -daemon config/server.properties #採用後台啟動的方式啟動三颱kafkabin/kafka-server-stop.sh config/server.properties
bin/kafka-topics.sh --create --topic test1 --partitions 1 --replication-factor 3 --zookeeper 192.168.199.11:2181/kafka檢視分布://注意:在zk集群模式下,連線1個節點就可以將資料同步了
通過console的方式連線控制台,建立生產者
bin/kafka-console-producer.sh --topic test1 --broker-list 192.168.199.11:9092,192.168.199.12:9092,192.168.199.13:9092建立消費者:
bin/kafka-console-consumer.sh --topic test1 --bootstrap-server 192.168.199.11:9092,192.168.199.12:9092,192.168.199.13:9092在producer端任意輸入資料,在
consumer
端可以接收到傳送的資料
kafka 2 11 0 11 0 1集群搭建
本文搭建乙個三節點的kafka集群。該集群有三個zookeeper 三個kafka broker。解壓kafka安裝包,獲得如下目錄 unzip kafka 2.11 0.11.0.1.zip kafka 2.11 0.11.0.1 kafka目錄結構 cd kafka 2.11 0.11.0.1 ...
kafka2 3集群搭建
環境 3臺centos7.4 3臺zookeeper3.4.14 wget 解壓 tar zxvf kafka 2.11 2.3.0.tgz 進入kafka目錄,修改config server.properties,找到zookeeper.connect,修改zk集群的連線位址為 zookeeper...
kafka 2 11 0 10 2 0集群安裝
集群環境 spark1 ip 192.168.6.137 spark2 ip 192.168.6.138 spark3 ip 192.168.6.139 cd usr local wget kafka 0.10.2.0 kafka 2.11 0.10.2.0.tgz tar xzf kafka 2....