大資料平台搭建 kafka集群的搭建

本系列文章主要闡述大資料計算平台相關框架的搭建，包括如下內容：

kafka是乙個分布式、分割槽的、多副本的、多訂閱者的訊息佇列,以高吞吐量著稱，主要用於實時資料的傳輸和處理，總體架構如下

本文環境列表

直接在伺服器10.20.112.59上解壓

cd ~

tar -zxvf kafka_2.11-0.10.2.1.tgz.gz
mv  kafka_2.11-0.10.2.1 kafka

vi /wls/oracle/kafka/config/server.properties

主要是如下幾項：

kafka集群

修改server.properties

不同機器配置的broker.id 、advertised.host.name、listeners、advertised.listeners不一樣，根據對應的主機名配置。

以伺服器szb-l0045546，則其server.properties需更改的配置如下：

broker.id=1

advertised.port=9092

advertised.host.name=10.20.112.59

listeners=plaintext://szb-l0045546:9092

advertised.listeners=plaintext://szb-l0045546:9092

zookeeper.connection=szb-l0045546:2181,szb-l0045551:2181,szb-l0045552:2181/kafka

log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3

其他配置項參考

同時集群中的伺服器需要為kafka日誌建立相關目錄

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1

mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3

cd wls/oracle/bigdata/kafka/logs

nohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out
2&1 &

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka

--create --topic test --replication-factor 2 --partitions 3

/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka

--list

/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka

--topic test

/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka

--topic test --from-beginning

部署 kafka 大資料Kafka集群部署

2 kafka集群部署 1 解壓安裝包 atguigu hadoop102 software tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 2 修改解壓後的檔名稱 atguigu hadoop102 module mv kafka 2.11 0.11.0...

大資料平台與kafka

為什麼大資料平台需要引入kafka呢？是用來解決什麼問題呢？我讀到一篇文章，秒速的很好，這裡引入，作為筆記記錄一下 場景一 我們開發過乙個裝置資訊挖掘平台。這個平台需要實時將採集網際網路關採集到的路由節點的狀態資訊存入資料中心。通常乙個閘道器一次需要上報幾十甚至幾百個變化的路由資訊。全區有幾萬個這種...

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....