zookeeper和kafka環境搭建以及使用

2021-10-20 12:26:44 字數 2586 閱讀 4563

#1、解壓

tar -zxvf apache-zookeeper-


3.5.5


-bin.tar.gz
#2、移動到zookeeper目錄，方便管理

mv apache-zookeeper-


3.5.5


-bin zookeeper
#3、cd到/data/zookeeper/conf目錄

#4、剛開始沒有zoo.cfg目錄，複製乙份

cp zoo_sample.cfg zoo.cfg
#5、修改以下內容

ticktime=


2000


initlimit=


10synclimit=


5datadir=


/data/zookeeper/data


datalogdir=


/data/zookeeper/log


clientport=


2181
#6、然後在/data/zookeeper/目錄裡面建立data和log兩個資料夾

cd /data/zookeeper
mkdir data log
#7、啟動zookeeper

cd /data/zookeeper/bin


./zkserver.sh start
#1、解壓

tar -zxvf kafka_2.12-


2.3.0


.tgz
#移動到kafka目錄

mv kafka_2.12-


2.3.0 kafka
#2、更改配置檔案

cd config


vim server.properties
新增或者修改如下配置

host.name=阿里雲內網ip


port=


9092


advertised.host.name=阿里雲外網ip


zookeeper.connect=部署zk機器的ip:


2181


listeners=plaintext://


:9092


advertised.listeners=plaintext:


//localhost:


9092
#3、啟動kafka

cd /data/kafka_2.12-


2.3.0


./bin/kafka-server-start.sh config/server.properties &
#4、注意：使用exit退出，直接關閉的話，kafka程序就麼沒有了

exit
建立kafka主題：

bin/kafka-topics.sh --create --zookeeper localhost:


2181


--replication-factor 1


--partitions 1


--topic test
顯示kafka所有主題：

建立kafka生產者：

bin/kafka-console-producer.sh --broker-list localhost:


9092


--topic test
生產者建立後，可以輸入內容

建立kafka消費者：

./kafka-console-consumer.sh --bootstrap-server 127.0


.0.1


:9092


--topic test --from-beginning
另起乙個視窗，建立消費者，可以收到生產者傳送的主題，如圖

ZooKeeper和Kafka 啟動順序

zookeeper啟動 注 依照zk的選舉制度 安裝zk的機器要大於三颱 注 機器上一共只有乙個leader 多個 follower 關閉 zkserver.sh stop kafka啟動 啟動 我是在kafka的bin目錄下啟動的 kafka server start.sh daemon conf...

kafka和zookeeper的日誌資料流分析

kafka和zookeeper的日誌資料流分析 活動流資料是所有站點在對其 使用情況做報表時要用到的資料中最常規的部分。活動資料報括頁面訪問量 page view 被檢視內容方面的資訊以及搜尋情況等內容。這種資料通常的處理方式是先把各種活動以日誌的形式寫入某種檔案，然後周期性地對這些檔案進行統計分析...

zookeeper和kafka的啟動和關閉順序

一定要先啟動zookeeper 再啟動kafka 順序不可以改變。先關閉kafka 再關閉zookeeper。zookeeper啟動 分別在三颱機器上執行 zkserver.sh start 檢查zookeeper狀態 zkserver.sh status 關閉 zkserver.sh stop k...