安裝zookeeper
kafka自帶了zookeeper，建議還是用外部的zk集群，搭建步驟如下：
準備3臺機器，假設我們叫c1、c2、c3，ip分別為ip1、ip2、ip3
將附件zookeeper-3.4.6.tar.gz分別拷貝至3臺機器
c1機器上解壓zookeeper-3.4.6.tar.gz得到zookeeper-3.4.6，在zookeeper-3.4.6上一級目錄建立data和log資料夾用來存資料和log，在data目錄建立myid檔案，寫入內容1
c2機器上解壓zookeeper-3.4.6.tar.gz得到zookeeper-3.4.6，在zookeeper-3.4.6上一級目錄建立data和log資料夾用來存資料和log，在data目錄建立myid檔案，寫入內容2
c3機器上解壓zookeeper-3.4.6.tar.gz得到zookeeper-3.4.6，在zookeeper-3.4.6上一級目錄建立data和log資料夾用來存資料和log，在data目錄建立myid檔案，寫入內容3
c1、c2、c3機器分別進入zookeeper-3.4.6/conf，建立zoo.cfg，內容都如下：
ticktime=2000
initlimit=10
synclimit=5
datadir=/***/***/***/***/zookeeper/data
datalogdir=/***/***/***/***/zookeeper/log
clientport=2181
server.1=ip1:2287:3387
server.2=ip2:2287:3387
server.3=ip3:2287:3387
啟動（3臺機器都需要）
cd bin
./zkserver.sh start
kafka集群搭建
解壓tar -zxvf kafka_2.11-0.10.0.1.tgz
修改bin/kafka-server-start.sh
將對堆記憶體修改為：-xmx6g -xms6g（官方推薦配置）
export jmx_port="19092"（jconsole或者jvisualvm能夠遠端連線檢視記憶體等）
修改日誌配置
把每項的datepattern修改為'.'yyyy-mm-dd（只需每天rolling就可以了）
修改config/server.properties配置
broker.id=0（每個節點不能一樣）
# listeners = security_protocol://host_name:port
listeners=plaintext://***:9092
# advertised.listeners=plaintext://arreat00:9092
# replication configurations
num.replica.fetchers=2
default.replication.factor=3
controller.socket.timeout.ms=30000
# log configuration
num.partitions=3
message.max.bytes=1000000
auto.create.topics.enable=true
log.flush.interval.ms=10000
log.flush.interval.messages=20000
log.flush.scheduler.interval.ms=2000
log.dirs=/home/***/***/kafka/log
# zk configuration
zookeeper.connect=ip:port,ip:port,ip:port/xx/***
zookeeper.connection.timeout.ms=6000
zookeeper.sync.time.ms=2000
# socket server configuration
num.io.threads=8
num.network.threads=3
socket.request.max.bytes=104857600
socket.receive.buffer.bytes=1048576
socket.send.buffer.bytes=1048576
queued.max.requests=16
每項的具體解釋可見：
該配置修改的是官方推薦的生產環境的配置：
啟動啟動3個節點，bin/kafka-server-start.sh -daemon config/server.propertie
kafka 集群搭建
1 前置條件 安裝jdk zookeeper 集群搭建 wget tar xzf kafka 2.11 0.10.2.1.tgz 3 修改 config server.properties 三個地方 1 broker.id 要對上 log.dirs 下 meta.properties broker....
kafka集群搭建
1 上傳安裝包 把安裝包上傳到伺服器 put r d kafka 2.11 0.8.2.0.tgz 2 解壓縮安裝包 3 配置kafka環境變數 vim etc profile export path path kafka home bin 重新整理策略 source etc profile 4 修...
kafka集群搭建
新版本的kafka自帶有zookeeper，其實自帶的zookeeper完全夠用，本篇文章以記錄使用自帶zookeeper搭建kafka集群。kafka官網 kafka配置快速入門 quickstart kafka安裝目錄下的config資料夾為其配置檔案，我們需要修改的有 server.prope...