本系列文章主要闡述大資料計算平台相關框架的搭建，包括如下內容：
kafka是乙個分布式、分割槽的、多副本的、多訂閱者的訊息佇列,以高吞吐量著稱，主要用於實時資料的傳輸和處理，總體架構如下
本文環境列表
直接在伺服器10.20.112.59上解壓12
3cd ~
tar -zxvf kafka_2.11-0.10.2.1.tgz.gz
mv kafka_2.11-0.10.2.1 kafka
編輯kafka server配置檔案
vi /wls/oracle/kafka/config/server.properties
主要是如下幾項：
kafka集群
修改server.properties
不同集群broker.id 和host.name 不一樣，根據實際情況配置。
修改預設配置檔案中的
broker.id(每台伺服器均不同)
port(如果是偽集群，則埠號需要改變)
host.name
advertised.host.name
zookeeper.connect(所有集群的ip均需要說明)
log.dirs
以伺服器szb-l0045546，則其server.properties需更改的配置如下：
broker.id=1而集群另外4臺伺服器中的broker.id、host.name,advertised.host.name和szb-l0045546的保持不同即可。同時集群中的伺服器需要為kafka日誌建立相關目錄port=9092
host.name=szb-l0045546
advertised.host.name=10.20.112.59
zookeeper.connection=szb-l0045546:2181,szb-l0045551:2181,szb-l0045552:2181/kafka
log.dirs=/wls/oracle/bigdata/kafka/kafka-logs-1,/wls/oracle/bigdata/kafka/kafka-logs-2,/wls/oracle/bigdata/kafka/kafka-logs-3
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-1依次啟動集群中的kafka，執行指令碼如下：mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-2
mkdir -p /wls/oracle/bigdata/kafka/kafka-logs-3
cd wls/oracle/bigdata/kafka/logs建立topicnohup /wls/oracle/kafka/bin/kafka-server-start.sh /wls/oracle/kafka/config/server.properties >> /wls/oracle/bigdata/kafka/logs/kafka.out 2&1 &
/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka顯示建立的topic--create --topic test --replication-factor 2 --partitions 3
/wls/oracle/kafka/bin/kafka-topics.sh --zookeeper 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka向test中寫入訊息--list
/wls/oracle/kafka/bin/kafka-console-producer.sh --broker-list 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka從topic test中消費資料--topic test
/wls/oracle/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.20.112.59:2181,10.20.112.64:2181,10.20.112.65:2181,10.20.116.129:2181,10.20.116.175:2181/kafka--topic test --from-beginning
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...