1.cdh環境已經搭建成功，在cdh上搭建kafka，要求用cdh上zookeeper管理kafka而不用kafka自帶的zookeeper
2.kafka_2.11-0.8.2.1.tgz已經上傳到kafka集群環境中
修改hosts
10.10.0.11 s1-1
10.10.0.12 s1-2
10.10.0.13 s1-3
10.10.0.14 s1-4
10.10.0.15 s2-1
10.10.0.16 s2-2
10.10.0.17 s2-3
10.10.0.18 s2-4
10.10.0.19 s3-1
10.10.0.20 s3-2
10.10.0.21 s3-3
10.10.0.22 s3-4
10.10.0.23 s4-1
10.10.0.24 s4-2
1.cd /usr/lib/zookeeper/conf/
2.vi zoo.cfg
3.新增以下內容
#kafka server
10.10.0.12 s1-2
10.10.0.16 s2-2
10.10.0.20 s3-2
# zookeeper cluster
server.1=s1-3:2888:3888
server.2=s2-3:2888:3888
server.3=s3-3:2888:3888
4.每台機器上生成myid:
13:$ echo "1" >/var/lib/zookeeper/myid
17:$ echo "2" >/var/lib/zookeeper/myid
21:$ echo "3" >/var/lib/zookeeper/myid
1.cd /usr/lib/kafka
2.tar -zxvf kafka_2.11-0.8.2.1.tgz
3.cd kafka_2.11-0.8.2.1/config/
4.vi server.properties
broker.id=1,其他兩個為2,3
port=9092 其他兩個為9093,9094
hostname=10.10.0.12，其他兩個為10.10.0.16，10.10.0.20
zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181
依次關閉yarn，hbase，hdfs，zookeeper，然後反順序開啟
12/16/20
./bin/kafka-server-start.shconfig/server.properties &
1.jps顯示有kakka
2. 建立topic
./bin/kafka-topics.sh --create --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181 --replication-factor 1 --partitions1 --topic page_visits
3. 檢視命令
./bin/kafka-topics.sh --list --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181
CDH集群整合kafka
1.cdh環境已經搭建成功，在cdh上搭建kafka。要求用cdh上zookeeper管理kafka而不用kafka自帶的zookeeper 2.kafka 2.11 0.8.2.1.tgz已經上傳到kafka集群環境中 改動hosts 10.10.0.11 s1 1 10.10.0.12 s1 2...
cdh完美整合kafka
具體實現的簡要步驟可參照cloudera官網提供的文件 下面就是我根據這個文件的整合過程。csd包 關閉集群，關閉cm服務 假如不關閉cm服務，會出現在新增kafka服務時找不到相關的服務描述 將csd包放到cm安裝節點下的 opt cloudera csd目錄下，如圖 將parcel包放到cm安裝...
SpringBoot整合kafka集群
本文整合基於springboot2.0 kafka版本kafka 2.12 2.3.0，使用org.springframework.kafka來做的整合 專案目錄結構 pom.xml依賴 本配置檔案是才用的併發批量消費方式，bootstrap servers是我們集群的機器位址 生產者control...