我的大資料之旅 Kafka環境搭建

2021-09-23 13:58:09 字數 3727 閱讀 7476

3臺已安裝好jdk、zookeeper的centos虛擬機器

2) 解壓：

[feng@hadoop129 software]$ ls


kafka_2.11-2.2.0.tgz


[feng@hadoop129 software]$ tar -zxf kafka_2.11-2.2.0.tgz


[feng@hadoop129 software]$ ls


kafka_2.11-2.2.0  kafka_2.11-2.2.0.tgz


[feng@hadoop129 software]$
3)  移動到指定目錄：

[feng@hadoop129 software]$ mv kafka_2.11-2.2.0 /opt/module/
4）在/opt/module/kafka_2.11-2.2.0下建立 logs目錄：

[feng@hadoop129 kafka_2.11-2.2.0]$ mkdir logs


[feng@hadoop129 kafka_2.11-2.2.0]$ ls


bin  config  libs  license  logs  notice  site-docs
5) 修改配置檔案: 

[feng@hadoop129 config]$ vim /opt/module/kafka_2.11-2.2.0/config/server.properties
檔案修改、新增內容如下：

#修改


broker.id=129


#新增#刪除topic功能使能


delete.topic.enable=true


#修改 kafka執行日誌存放的路徑


log.dirs=/opt/module/kafka_2.11-2.2.0/logs


#修改 配置連線zookeeper集群位址


zookeeper.connect=hadoop129:2181,hadoop130:2181,hadoop131:2181
6）配置環境變數：

[feng@hadoop129 kafka_2.11-2.2.0]$ sudo vim /etc/profile
新增配置，當前生效請執行命令 source /etc/profile：

#kafaka_home


export kafaka_home=/opt/module/kafka_2.11-2.2.0


export path=$path:$/bin
7）同步整個資料夾kafaka_2.11-2.2.0到其他兩台機子：hadoop130/hadoop131並修改配置檔案中的broker.id

hadoop130機子：

broker.id = 130

hadoop131機子：

broker.id = 131

8）先啟動zookeeper ， 再起動kafka

[feng@hadoop129 kafka_2.11-2.2.0]$ pwd


/opt/module/kafka_2.11-2.2.0


[feng@hadoop129 kafka_2.11-2.2.0]$ bin/kafka-server-start.sh config/server.properties &


[feng@hadoop130 kafka_2.11-2.2.0]$ pwd


/opt/module/kafka_2.11-2.2.0


[feng@hadoop130 kafka_2.11-2.2.0]$ bin/kafka-server-start.sh config/server.properties &


[feng@hadoop131 kafka_2.11-2.2.0]$ pwd


/opt/module/kafka_2.11-2.2.0


[feng@hadoop131 kafka_2.11-2.2.0]$ bin/kafka-server-start.sh config/server.properties &
9）建立並檢視topic

[feng@hadoop129 kafka_2.11-2.2.0]$ bin/kafka-topics.sh --create --bootstrap-server hadoop129:9092 --replication-factor 1 --partitions 1 --topic kafka-first


[feng@hadoop129 kafka_2.11-2.2.0]$ bin/kafka-topics.sh --list --bootstrap-server hadoop129:9092


__consumer_offsets


first


first-kafaka-topic


kafka-first


test
10）傳送資訊

[feng@hadoop129 kafka_2.11-2.2.0]$ bin/kafka-console-producer.sh --broker-list hadoop129:9092 --topic kafka-first


>hello,kafka ;-)


>
11）檢視訊息

[feng@hadoop129 kafka_2.11-2.2.0]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop129:9092 --topic kafka-first --from-beginning


hello,kafka ;-)
12）檢視某個

topic

的詳情

[feng@hadoop129 kafka_2.11-2.2.0]$ bin/kafka-topics.sh --describe --bootstrap-server hadoop129:9092 --topic kafka-first


topic:kafka-first       partitioncount:1        replicationfactor:1     configs:segment.bytes=1073741824


topic: kafka-first      partition: 0    leader: 129     replicas: 129   isr: 129


[feng@hadoop129 kafka_2.11-2.2.0]$
13）刪除topic

終端執行命令

$ bin/kafka-topics.sh --delete --zookeeper hadoop130:2181 --topic kafka-first
執行前：

執行後，重啟kafka、zookeeper：

我的大資料之旅 Oozie執行shell指令碼任務

目錄 目標 通過oozie排程hdfs上的shell指令碼 步驟 1.解壓oozie官方案例模板 2.建立工作目錄 3.拷貝案例模板 4.建立shell指令碼 5.修改property檔案 6.修改workflow.xml 7.將整個job目錄上傳hdfs 8.執行job 效果圖 feng hado...

虛擬機器CentOs的安裝及大資料的環境搭建

大資料問題彙總 1.安裝問題 1.安裝步驟，詳見文件 centos虛擬機器安裝指南 2.vi編輯器使用問題，詳見文件 linux常用命令.pdf 3.網路中繼更改問題 命令 vi etc sysconfig network scripts ifcfg eth0 需要修改的 device eth0 h...

Centos7 4環境下kafka集群的搭建

並上傳到linux機器中 解壓到指定目錄 tar zxvf kafka2.11 c opt soft 二 新增環境變數 vim etc profile 加入下圖環境變數 三 修改kafka配置檔案 進入kafka的根目錄的config cd opt soft kafka2.11 config 開啟s...