1.首先確保三颱伺服器的jdk和zookeeper已經安裝完成,並且可以使用
2. 在/opt/modules下上傳kafka安裝包
3. 解壓 tar -zxvf kafka_2.12-2.2.0.tgz
4. 在kafka_2.12-2.2.0 下建立logs目錄
5. 修改配置檔案 cd config
vim server.properties
修改#broker的全域性唯一編號,不能重複
broker.id=0
#kafka執行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#配置連線zookeeper集群位址
zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop3:2181
6.配置環境變數
vi /etc/profile
#kafka_home
export kafka_home=/opt/module/kafka
export path=pat
h:
path:
path
:kafka_home/bin
7.分別在hadoop2和hadoop3上做如上步驟
8.啟動:
先啟動zookeeper集群
啟動命令 bin/kafka-server-start.sh config/server.properties &
9.常用命令
1)檢視當前伺服器中的所有topic
bin/kafka-topics.sh --list --zookeeper hadoop102:2181
2)建立topic
bin/kafka-topics.sh --create --zookeeper hadoop102:2181 --replication-factor 3 --partitions 1 --topic first
選項說明:
–topic 定義topic名
–replication-factor 定義副本數
–partitions 定義分割槽數
3)刪除topic
bin/kafka-topics.sh --delete --zookeeper hadoop102:2181 --topic first
需要server.properties中設定delete.topic.enable=true否則只是標記刪除或者直接重啟。
4)傳送訊息
bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
hello world5)消費訊息
bin/kafka-console-consumer.sh --zookeeper hadoop102:2181 --from-beginning --topic first
6)檢視某個topic的詳情
bin/kafka-topics.sh --topic first --describe --zookeeper hadoop102:2181
centos7 安裝單節點redis
由於是在vmware中安裝,所以首先要配置虛擬機器相關環境,網路介面使用nat。虛擬機器環境配置 靜態ip,可參考centos7 靜態ip 主機名 hostnamectl set hostname redis singlegcc環境 yum y install gcc tcl y redis編譯及安...
安裝CentOS7 並安裝Python3
由於專案需要,最近配置了centos系統作為伺服器,然後在伺服器上部署python 所以安裝了python3。這裡記錄以下整個安裝過程,以便於之後檢查。centos7 鏈結 python3.5 鏈結 安裝過程中進行了自定義分盤 採用標準模式自動分盤 安裝完成後,重啟,登入系統,開始配置網路ip 修改...
CentOS 7安裝Python3教程
在安裝python 3之前,可以先檢視當前的python版本,因為預設的centos系統都預設安裝了python2 接下來我們安裝python3 在 centos 7 中安裝 python 3.6.4之前,請確保系統中已經有了所有必要的依賴包否則會報錯 root ecs ac8wu yum y gr...