1.初始化環境準備
安裝jdk，安裝zookeeper並保證zk服務正常啟動
wget
3.node01伺服器修改kafka配置檔案
1、node01執行以下命令建立資料檔案存放目錄
mkdir -p /export/servers/kafka_2.11-1.0.0/logs
進入到kafka的配置檔案目錄，修改配置檔案
cd /export/servers/kafka_2.11-1.0.0/config
vim server.properties
需要更改五處
broker.id=0 # 唯一標識
log.dirs=/export/servers/kafka_2.11-1.0.0/logs # 日誌目錄
zookeeper.connect=node01:2181,node02:2181,node03:2181 # zk位址
#刪除topic需要server.properties中設定delete.topic.enable=true否則只是標記刪除
delete.topic.enable=true
host.name=node01 #主機名
node01執行以下命令，將node01伺服器的kafka安裝包傳送到node02和node03伺服器上面去
cd /export/servers/
scp -r kafka_2.11-1.0.0/ node02:$pwd
scp -r kafka_2.11-1.0.0/ node03:$pwd
node02與node03伺服器修改kafka配置檔案
在node01配置檔案的基礎上，修改兩處
node02配置檔案的修改：
broker.id=1 # 伺服器的唯一標識
host.name=node02 # 主機名
broker.id=2 # 伺服器的唯一標識
host.name=node03 # 主機名
注意： zookeeper得先啟動
1、啟動服務
分別在node01，node02，node03機器上啟動以下命令，將kafka程序啟動在後台：
cd /export/servers/kafka_2.11-1.0.0
nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
2、停止服務：
bin/kafka-server-stop.sh
Kafka Kafka集群操作
首先進入到kafka的安裝目錄下 cd export servers kafka 2.11 1.0.0建立乙個名字為test的主題，有三個分割槽，有兩個副本 node01執行以下命令來建立topic cd export servers kafka 2.11 1.0.0 bin kafka topic...
hadoop集群環境搭建之集群客戶端的搭建
1.這涉及兩個操作hdfs集群的方式集群內操作和集群外操作 2.其中集群內操作就是在集群內某個節點上操作 3.集群外操作就是用集群之外的client與namenode進行通訊，完成操作集群內操作，選擇一台datanode節點作為操作的物件，每次上傳檔案的時候根據備份機制，上傳的檔案會本身會上傳到自己...
zookeeper windows偽集群搭建
解壓後，目錄重新命名為zookeeper1，進入 conf目錄，把zoo sample.cfg 複製乙份，重新命名為zoo.cfg 編輯zoo cfg 配置資料目錄和日誌目錄 先在zookeeper1目錄下，新建目錄 data logs 日誌目錄 datadir tmp zookeeper data...