Hadoop元件Zookeeper和Kafka部署

#解壓並改名

# mv zookeeper-3.4.6/ zookeeper
#建立相關目錄，並修改許可權
[root@master zookeeper]
# mkdir data
[root@master zookeeper]
# chmod 777 data/
#進入zookeeper目錄下的conf目錄修改zoo.cfg檔案
[root@master zookeeper]
# cd conf/
[root@master conf]
# cp zoo_sample.cfg zoo.cfg 
[root@master conf]
# vi zoo.cfg     //把datadir=改為上面建立目錄的路徑

[root@master conf]

# vim /etc/profile
#把下面的內容新增到檔案最後
export path=
$path
:$zookeeper_home/bin

#啟動

[root@master /]
# zkserver.sh start
jmx enabled by default
starting zookeeper ... started
#狀態[root@master /]
# zkserver.sh status
jmx enabled by default
mode: standalone
#jps程序
[root@master /]
# jps
23276 nodemanager
23018 secondarynamenode
22732 namenode
23168 resourcemanager
22859 datanode
32771 quorumpeermain
32821 jps

#解壓改名

# mv kafka_2.11-1.0.0/ kafka
#配置環境變數
# vim /etc/profile
export path=
$path
:$kafka_home/bin
#建立日誌存放目錄
[root@master kafka]
# mkdir kafka_data
#編輯server.properties檔案
[root@master config]
# viserver.properties
#在裡面找到下面兩個要修改的東西
zookeeper.connect=master:2181    #注意自己的主機名 這裡是master

#進入config目錄下啟動

[root@master config]
# kafka-server-start.sh server.properties
#新開啟乙個視窗檢視jps程序
[root@master ~]
# jps
33341 kafka
33324 quorumpeermain
23276 nodemanager
23018 secondarynamenode
33661 jps
22732 namenode
23168 resourcemanager
22859 datanode

HADOOP學習筆記總結三 zookeeper

在學習hbase時，官方文件說hbase依賴於zookeeper來管理與跟蹤其分布式資料的狀態，hregionserver與hmaster都需要向它註冊。那什麼是zookeeper呢？今天學習一下 1 zookeeper是什麼 zookeeper是一種分布式協調服務，用於管理大型主機。在分布式環境中...

Hadoop重點元件

hdfs的全稱是hadoop distributed file system易於擴充套件的分布式檔案儲存系統，執行在大量普通廉價機器上，提供容錯機制，為大量使用者提供效能不錯的檔案訪問服務 它的設計目標是 自動快速檢測應對硬體錯誤 流式訪問資料 移動計算比移動資料本身更划算 簡單一致性模型 異構平台...

Zookeep簡單記錄下

一 概念 zookeeper 作為乙個分布式的服務框架，主要用來解決分布式集群中應用系統的一致性問題，它能提供基於類似於檔案系統的目錄節點樹方式的資料儲存，zookeeper 作用主要是用來維護和監控儲存的資料的狀態變化，通過監控這些資料狀態的變化，從而達到基於資料的集群管理。zookeeper集群...