上篇部落格，已經介紹了三颱虛擬機器搭建zookeeper集群。本篇講繼續搭建kafka集群。
首先建立目錄，以便管理。
mkdir /home/captain/kafka
cd /home/captain/kafka
1）解壓安裝包
2）修改解壓後的檔名稱
mv kafka_2.11-0.11.0.0/ kafka 3
）在kafka_2.11-0.11.0.0目錄下建立
logs
資料夾
mkdir logs 4
）修改配置檔案
cd config/
vi server.properties
輸入以下內容：
#broker
的全域性唯一編號，不能重複
broker.id=0 #
刪除 topic
功能使能
delete.topic.enable=true #
處理網路請求的執行緒數量
num.network.threads=3 #
用來處理磁碟
io 的現成數量
num.io.threads=8 #
傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400 #
接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400 #
請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka
執行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#topic
在當前
broker
上的分割槽個數
num.partitions=1 #
用來恢復和清理
data
下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment
檔案保留的最長時間，超時將被刪除
log.retention.hours=168 #
配置連線
zookeeper
集群位址
zookeeper.connect=192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181
advertised.listeners=plaintext 5
）配置環境變數
vi /etc/profile
#kafka_home
export kafka_home=/home/captain/kafka/kafka_2.11-0.11.0.0
export path=$path:$kafka_home/bin
source /etc/profile 6
）分發安裝包
其他兩台機器也同樣部署，可以用scp指令
7）分別在
hadoop103
和 hadoop104
上修改配置檔案
/opt/module/kafka/config/server.properties
中的 broker.id=1
、broker.id=2 注：
broker.id
不得重複 8
）啟動集群
依次在
101、
102、
103
節點上啟動
kafka
bin/kafka-server-start.sh config/server.properties & 9
）關閉集群
bin/kafka-server-stop.sh stop
3臺虛擬機器搭建kafka集群
系統 centos7 kafka安裝包版本 kafka 2.11 0.11.0.0.tgz 1.在opt目錄下建立module目錄，2.將kafka解壓到module目錄下 tar zxvf kafka 2.11 0.11.0.0.tgz c opt module 3.在解壓後的kafka根目錄下建...
ELK集群的搭建 虛擬機器
一 複製虛擬機器 1.開啟linux虛擬機器，把之前做的名稱為elk002 2.專案在未啟動的狀態下複製兩次，分別命名為elk005 elk006 複製後的名稱隨意，自己記住就行 3.將elk002 elk005 elk006都啟動 二 修改主機名和主機列表 以下操作三個都要操作 2 主機名 輸入 ...
虛擬機器安裝集群
1 將32位win7作業系統改為64位，因32位最多支援3g的記憶體，記憶體條插多了也沒用。3 安裝vmware player，建立虛擬機器三颱，網路連線選擇橋接。建立hadoop使用者 4 進入虛擬機器後，修改 etc sysconfig network scripts ifcfg eth0檔案，...