1、準備三颱機器
192.168.100.100 node01
192.168.100.110 node02
192.168.100.120 node03
2.2.1、安裝jdk、安裝zookeeper
參見之前的jdk以及zk環境安裝步驟
2.2.2、安裝目錄規劃
安裝包存放的目錄：/export/softwares
安裝程式存放的目錄：/export/servers
mkdir -p /export/servers
mkdir -p /export/softwares
如果預設使用者安裝，即可跳過該步驟
安裝hadoop，會建立乙個hadoop使用者
安裝kafka，建立乙個kafka使用者
或者 建立bigdata使用者，用來安裝所有的大資料軟體
本例：使用root使用者來進行安裝
2.2.4、驗證環境
保證三颱機器的zk服務都正常啟動，且正常執行
檢視zk的執行裝填，保證有一台zk的服務狀態為leader，且兩台為follower即可
2.3、kafka集群安裝
cd /export/softwares
tar -zxvf kafka_2.11-0.10.0.0.tgz -c /export/servers/
node01執行以下命令進入到kafka的配置檔案目錄，修改配置檔案
cd /export/servers/kafka_2.11-0.10.0.0/config
vim server.properties
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-0.10.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node01
mkdir -p /export/servers/kafka_2.11-0.10.0.0/logsnode01執行以下命令，將node01伺服器的kafka安裝包傳送到node02和node03伺服器上面去
cd /export/servers/scp -r kafka_2.11-0.10.0.0/ node02:$pwd
scp -r kafka_2.11-0.10.0.0/ node03:$pwd
node02與node03伺服器修改kafka配置檔案
node02使用以下命令修改kafka配置檔案
cd /export/servers/kafka_2.11-0.10.0.0/config
vim server.properties
broker.id=1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-0.10.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node02
cd /export/servers/kafka_2.11-0.10.0.0/config
vim server.properties
broker.id=2
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/servers/kafka_2.11-0.10.0.0/logs
num.partitions=2
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=node01:2181,node02:2181,node03:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
delete.topic.enable=true
host.name=node03
注意事項：在kafka啟動前，一定要讓zookeeper啟動起來。
2.4.1、啟動命令-前台啟動
node01伺服器執行以下命令來啟動kafka集群
cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-server-start.sh config/server.properties
node01執行以下命令將kafka程序啟動在後台
cd /export/servers/kafka_2.11-0.10.0.0
nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
node01執行以下命令便可以停止kakfa程序
cd /export/servers/kafka_2.11-0.10.0.0
bin/kafka-server-stop.sh
通過jps命令來檢視程序是否存在
jps2687 jps#輸入jps
3056 kafka
linux 搭建 kafka集群
wget tar zxvf kafka 2.11 0.10.2.0.tgz mkdir kafka logs cd soft kafka kafka 2.11 0.10.2.0 config vi server.properties 修改 broker.id 0 注釋掉，每台伺服器的broker.i...
linux搭建kafka集群
tar zxvf kafka 2.12 2.3.1.tgz新增環境變數 開啟環境變數配置檔案 vim etc profile加入kafka配置 export kafka home usr local programs kafka 2.12 2.3.1 export path bin path 讓環境...
kafka 2 11 0 11 0 1集群搭建
本文搭建乙個三節點的kafka集群。該集群有三個zookeeper 三個kafka broker。解壓kafka安裝包，獲得如下目錄 unzip kafka 2.11 0.11.0.1.zip kafka 2.11 0.11.0.1 kafka目錄結構 cd kafka 2.11 0.11.0.1 ...