在chd5.16.2中安裝 kafka-2.1.1-1.2.1.1.p0.18, 環境配置結束後測試kafka是否搭建成功
遇到以下問題:
1. kafka建立生產者後用消費者消費時--bootstrap-server 與 --zookeeper的區別
在控制台上消費者命令不能--bootstrap-server這種形式, 是kafka配置有問題嗎? 求賜教
kafka-topics \
--zookeeper hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka \
--create \
--replication-factor 1 \
--partitions 1 \
--topic topic_start
# 同樣是控制台消費，--bootstrap-server localhost:9092，這樣就收不到消費訊息
kafka-console-consumer \
--bootstrap-server hadoop001:9092,hadoop002:9092,hadoop003:9092 \
--from-beginning \
--topic topic_start
# 控制台形式消費該topic訊息，--zookeeper localhost:2181 這種能正常消費訊息
kafka-console-consumer \
--zookeeper hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka \
--topic topic_start \
--from-beginning
cdh完美整合kafka
具體實現的簡要步驟可參照cloudera官網提供的文件 下面就是我根據這個文件的整合過程。csd包 關閉集群，關閉cm服務 假如不關閉cm服務，會出現在新增kafka服務時找不到相關的服務描述 將csd包放到cm安裝節點下的 opt cloudera csd目錄下，如圖 將parcel包放到cm安裝...
CDH6 2 1安裝Kafka出現的問題
根據以往在cdh安裝元件的經驗，應該是非常easy的，沒想到 這裡我選擇了五颱broker，其他的不需要填寫，在啟動的時候報錯 在網上搜了一圈，大概說是因為集群中broker預設都為0！我們必須得手動改為唯一的。於是我把這五颱服務的broker id分別改為0 1 2 3 4,並且發現預設的，zoo...
CDH集群整合kafka
1.cdh環境已經搭建成功，在cdh上搭建kafka，要求用cdh上zookeeper管理kafka而不用kafka自帶的zookeeper 2.kafka 2.11 0.8.2.1.tgz已經上傳到kafka集群環境中 修改hosts 10.10.0.11 s1 1 10.10.0.12 s1 2...