KAFKA筆記 部署

2021-08-20 03:24:03 字數 1848 閱讀 7805

基於scala 2.11\kafka版本：0.10.0.1 

zookeeper:

scala:

kafka:

1、zookeeper部署

1.1、解壓

[root@hadoop001 software]# tar -zxvf zookeeper-3.4.10.tar.gz
1.2、 建立軟連線

[root@hadoop001 software]# ln -s zookeeper-3.4.10 zookeeper
1.3、新增環境變數

export zk_home=/opt/software/zookeeper


export path=$/bin:$
1.4、修改配置 

zoo.cfg


datadir=/opt/software/zookeeper/data


server.1=hadoop001:2888:3888
[root@hadoop001 conf]# mkdir /opt/software/zookeeper/data   


[root@hadoop001 conf]# echo 1 > /opt/software/zookeeper/data/myid
1.5、啟動zk

[root@hadoop001 zookeeper]# zkserver.sh start


zookeeper jmx enabled by default


using config: /opt/software/zookeeper/bin/../conf/zoo.cfg
1.6、檢視zookeeper狀態

[root@hadoop001 zookeeper]# zkserver.sh status


zookeeper jmx enabled by default


using config: /opt/software/zookeeper/bin/../conf/zoo.cfg


mode: standalone
2、kafka部署

2.1、解壓

[root@hadoop001 software]# tar -xzvf kafka_2.11-0.10.0.1.tgz
2.2、建立軟連線

ln -s kafka_2.11-0.10.0.1 kafka
2.3、配置環境變數

export kafka_home=/opt/software/kafka


export path=$/bin:$
2.4、建立logs目錄和修改producer.properties

vi $/config/producer.properties


broker.id=1


port=9092


host.name=hadoop001


log.dirs=/opt/software/kafka/logs


zookeeper.connect=hadoop001:2181/kafka
2.5、修改 server.properties

zookeeper.connect=hadoop001:2181/kafka
2.6、啟動kafka

nohup kafka-server-start.sh config/server.properties &

Kafka 單機kafka部署

1 上傳部署包 kafka 2.11 0.11.0.0.tgz 放到 opt software 2 解壓 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3 切換目錄 opt module kafka 2.11 0.11.0.0 conf 4 修改配置 v...

部署 kafka 大資料Kafka集群部署

2 kafka集群部署 1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 atguigu hadoop102 module mv kafka 2.11 0.11.0...

kafka部署模式

1 單broker模式 2 單機多broker模式 偽集群 3 多機多broker模式 真正的集群模式 第一種單broker模式 2.解壓kafka tar xvf kafka 2.9.1 0.8.2.1.tgz 解壓到 usr local 3.修改配置檔案 config zookeeper.pro...