先啟動zookeeper集群
1.安裝ath
:path:
path
:kafka_home/bin:
2.配置檔案
(1)備份server.properties
cp /export/servers/kafka/config/server.properties /export/servers/kafka/config/server.properties.bak
(2)修改server.properties
vi /export/servers/kafka/config/server.properties
#用來監聽鏈結的埠.producer或consumer將在此埠建立連線
port=9092
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟io的現成數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=102400
#kafka執行日誌存放的路徑
log.dirs=/export/server/logs/kafka
#topic在當前broker上的分片個數
num.partitions=2
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間,超時將被刪除
log.retention.hours=168
#滾動生成新的segment檔案的最大時間
log.roll.hours=168
#日誌檔案中每個segment的大小,預設1g
log.segment.bytes=1073741824
#週期性檢查檔案大小的時間
log.retention.check.interval.ms=300000
#日誌清理是否開啟
log.cleaner.enable=true
#broker需要使用zookeeper儲存meta資料
zookeeper.connect=hadoop000:2181,hadoop001:2181,hadoop002:2181
#zookeeper鏈結超時時間
zookeeper.connection.timeout.ms=6000
#partitionbuffer中,訊息的條數達到閾值,將觸發flush到磁碟
log.flush.interval.message=10000
#刪除topic需要server.properties中設定delete.topic.enable=true否則只是標記刪除
delete.topic.enable=true
#此處的host.name為本機ip(重要),如果不改,則客戶端會丟擲:producer connection to localhost:9092 unsuccessful 錯誤!
host.name=kafka02
#本機ip
advertised.host.name=192.168.44.134
#對外監聽本機的9092埠
3.分發到各台機器上
scp -r kafka/ hadoop001:/export/server/
scp -r kafka/ hadoop002:/export/server/
4.修改其他機器的server.properties配置檔案
依次修改各伺服器上配置檔案的的broker.id，分別是0,1,2不得重複。
5.啟動集群
bin/kafka-server-start.sh config/server.properties
6.檢驗jps
對外無法監聽:9092埠
解決:server.properties配置檔案中新增listeners=plaintext:
kafka集群搭建
安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...