1、上傳安裝包
把安裝包上傳到伺服器
put -r "d:\kafka_2.11-0.8.2.0.tgz"
2、解壓縮安裝包
3、配置kafka環境變數
vim /etc/profile
export path=$path:$kafka_home/bin
重新整理策略
source /etc/profile
4、修改server.properties
vim server.properties
zookeeper.connect=192.168.123.101:2181,192.168.123.102:2181,192.168.123.103:2181,192.168.123.104:2181
5、將hadoop01節點上的kafka分發至hadoop02、hadoop03、hadoop04
scp -r kafka_2.11-0.8.2.0/ root@hadoop02:$pwd
scp -r kafka_2.11-0.8.2.0/ root@hadoop03:$pwd
scp -r kafka_2.11-0.8.2.0/ root@hadoop04:$pwd
6、依次修改hadoop02、hadoop03、hadoop04節點的broker id
vim server.properties
broker.id=1（hadoop02）
broker.id=2（hadoop03）
broker.id=3（hadoop04）
7、啟動服務
啟動zookeeper集群
zkserver.sh start
進入kafka目錄
啟動kafka集群
kafka-server-start.sh config/server.properties
8、建立topic
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 4 --partitions 4 --topic test2
檢視topic test2
kafka-topics.sh --describe --zookeeper localhost:2181 --topic test2
9、啟動生產者，鍵入一些訊息
kafka-console-producer.sh --broker-list localhost:9092 --topic test2
this is a cluster
10、啟動消費者，此時可看到生產者鍵入的訊息
kafka-console-consumer.sh --zookeeper localhost:2181 --topic test2 --from-beginning
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
新版本的kafka自帶有zookeeper，其實自帶的zookeeper完全夠用，本篇文章以記錄使用自帶zookeeper搭建kafka集群。kafka官網 kafka配置快速入門 quickstart kafka安裝目錄下的config資料夾為其配置檔案，我們需要修改的有 server.prope...