Centos7 4環境下kafka集群的搭建

2022-08-28 15:15:37 字數 2027 閱讀 8054

並上傳到linux機器中

解壓到指定目錄:

tar -zxvf kafka2.11/ -c /opt/soft/

二、新增環境變數

vim /etc/profile

加入下圖環境變數:

三、修改kafka配置檔案

進入kafka的根目錄的config:

cd /opt/soft/kafka2.11/config/開啟server.properties:

vim server.properties

插入以下**:(1

)、配置 broker 的id

broker.id=1

//第乙個kafka配置為 1,第二個配置為2,以此類推

(2)、開啟監聽埠

listeners=plaintext://

192.168.195.51:9092

//盡量寫ip位址,以免造成錯誤

(3)、修改 log 的目錄、在指定的位置建立好資料夾logs

log.dirs=/opt/soft/kafka2.11/logs(4

)、修改 zookeeper.connect盡量寫ip位址,以免造成錯誤(集群的機器)

zookeeper.connect=hadop51:2181,hadop52:2181,hadop53:2181(5

)、網路執行緒數量

num.network.threads=3(6

)zookeeper每6秒監視kafka是否還活著

zookeeper.connection.timeout.ms=6000(預設)

四、分發到各個子節點

scp –rp /opt/soft/kafka2.11 root@hadop52: /opt/soft

scp –rp /opt/soft/kafka2.11 root@hadop53: /opt/soft

把環境變數的配置檔案也分發過去:

scp –rp /etc/profile root@hadop52: /etc

scp –rp /etc/profile root@hadop53: /etc

然後在每台機器更新環境變數:

source profile

五、每台機器啟動kafka之前需啟動zookeeper,然後啟動kafka

這裡寫一下啟動zookeeper的命令,免得以後忘了:

zkserver.sh start

再啟動kafka:

kafka-server-start.sh $kafka_home/config/server.properties &列印日誌啟動

kafka-server-start.sh -daemon $kafka_home/config/server.properties & 不列印日誌啟動

通過jps命令檢視是否啟動成功

六、測試

通過建立乙個topic(名字為test)來測試是否能成功執行,隨便選擇乙個節點執行:
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic yw

列出kafka:

kafka-topics.sh --list -zookeeper 192.168.187.51:2181。有剛剛的測試topic名,表示建立成功。

Centos7 4環境搭建redis高可用

一 環境準備 分別準備三颱伺服器,ip分別為172.17.2.100,172.17.2.101,172.17.2.102作業系統選擇的是centos7.4,redis版本採用的是redis 3.2.11。二 安裝redis服務。1 安裝redis服務,全部伺服器同樣操作,已172.17.2.100為...

騰訊雲伺服器CentOS 7 4環境配置

安裝防火牆 yum install iptables services安裝成功後 編輯防火牆配置檔案 vi etc sysconfig iptables在檔案裡輸入如下 firewall configuration written by system config firewall manual c...

EOS編譯(環境Centos7 4)

首先從github上拉eos的原始碼 git clone recursive如果沒加 recursive,則拉完原始碼後需要在原始碼目錄執行以下命令 如果沒有執行,執行編譯命令時會提示 git submodule update init recursive執行編譯命令 sh eosio build....