kafka集群搭建

1.已搭建zookeeper集群

2.安裝jdk

1.解壓安裝包

[hadoop@hadoop01 tools]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -c /home/hadoop/install/

2.修改名字

[hadoop@hadoop01 install]$ mv kafka_2.11-0.11.0.2/ kafka

3.在kafka目錄下建立logs資料夾

[hadoop@hadoop01 kafka]$ mkdir logs

4.修改配置檔案

[hadoop@hadoop01 kafka]$ vi config/server.properties

#broker的全域性唯一編號，不能重複

broker.id=0

#是否允許刪除

topic delete.topic.enable=true

#處理網路請求的執行緒數量

num.network.threads=3

#用來處理磁碟io的執行緒數量

num.io.threads=8

#傳送套接字的緩衝區大小

socket.send.buffer.bytes=102400

#接收套接字的緩衝區大小

socket.receive.buffer.bytes=102400

#請求套接字的最大緩衝區大小

socket.request.max.bytes=104857600

#kafka執行日誌存放的路徑

log.dirs=/opt/module/kafka/logs

#topic在當前broker上的分割槽個數

num.partitions=1

#用來恢復和清理data下資料的執行緒數量

num.recovery.threads.per.data.dir=1

#segment檔案保留的最長時間，超時將被刪除

log.retention.hours=168

#配置連線zookeeper集群位址 zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

[hadoop@hadoop01 kafka]$ sudo vi /etc/profile

export path=$path:/home/hadoop/install/kafka/bin

6.分發kafka

[hadoop@hadoop01 kafka]$ xsync /home/hadoop/install/kafka/

[hadoop@hadoop01 kafka]$ xsync /etc/profile

7.分別在hadoop02和hadoop03上修改配置文件/home/hadoop/install/kafka/config/server.properties 中的broker.id=1、broker.id=2

8.啟動集群

依次在hadoop01、hadoop02、hadoop03節點上啟動kafka（-daemon代表後台啟動）

[hadoop@hadoop01 kafka]$ kafka-server-start.sh -daemon config/server.properties

[hadoop@hadoop02 kafka]$ kafka-server-start.sh -daemon config/server.properties

[hadoop@hadoop03 kafka]$ kafka-server-start.sh -daemon config/server.properties

kafka集群搭建

安裝zookeeper kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下 準備3臺機器，假設我們叫c1 c2 c3，ip分別為ip1 ip2 ip3 將附件zookeeper 3.4.6.tar.gz分別拷貝至3臺機器 c1機器上解壓zookeeper 3.4.6.tar....

kafka 集群搭建

1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....

kafka集群搭建

1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...