搭建ha集群：
1、zookeeper集群搭建
a) 將zookeeper.tar.gz上傳到node2、node3、node4
b) 解壓到/opt
tar -zxf zookeeper-3.4.6.tar.gz -c /opt
c) 配置環境變數：
export zookeeper_prefix=/opt/zookeeper-3.4.6
export path=$ path:$ zookeeper_prefix/bin
然後. /etc/profile讓配置生效
d) 到$zookeeper_prefix/conf下
複製zoo_sample.cfg為zoo.cfg
cp zoo_sample.cfg zoo.cfg
e) 編輯zoo.cfg
新增如下行：
server.1=node2:2881:3881
server.2=node3:2881:3881
server.3=node4:2881:3881
修改datadir=/var/bjsxt/zookeeper/data
f) 建立/var/bjsxt/zookeeper/data目錄，並在該目錄下放乙個檔案：myid
在myid中寫下當前zookeeper的編號
mkdir -p /var/bjsxt/zookeeper/data
echo 3 > /var/bjsxt/zookeeper/data/myid
g) 將/opt/zookeeper-3.4.6通過網路拷貝到node2、node3上
scp -r zookeeper-3.4.6/ node2:/opt
scp -r zookeeper-3.4.6/ node3:/opt
h) 在node2和node3上分別建立/var/bjsxt/zookeeper/data目錄，
並在該目錄下放乙個檔案：myid
node2:
mkdir -p /var/bjsxt/zookeeper/data
echo 1 > /var/bjsxt/zookeeper/data/myid
node3:
mkdir -p /var/bjsxt/zookeeper/data
echo 2 > /var/bjsxt/zookeeper/data/myid
i) 啟動zookeeper
zkserver.sh start
zkserver.sh start|stop|status
j) 關閉zookeeper
zkserver.sh stop
l) 連線zookeeper
zkcli.sh
m) 退出zkcli.sh命令
quit
2、hadoop配置
core-site.xml
fs.defaultfs
hdfs://mycluster
hadoop.tmp.dir
/var/bjsxt/hadoop/ha
ha.zookeeper.quorum
node2:2181,node3:2181,node4:2181
dfs.replication2
dfs.nameservices
mycluster
dfs.ha.namenodes.mycluster
nn1,nn2
dfs.namenode.rpc-address.mycluster.nn1
node1:8020
dfs.namenode.rpc-address.mycluster.nn2
node2:8020
dfs.namenode.shared.edits.dir
**ournal://node1:8485;node2:8485;node3:8485/mycluster
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.configuredfailoverproxyprovider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_dsa
dfs.journalnode.edits.dir
/var/bjsxt/hadoop/ha/jnn
dfs.ha.automatic-failover.enabled
true
a) 在node1\node2\node3上啟動三颱journalnode
hadoop-daemon.sh start journalnode
b) 任意選擇node1或者node2，格式化hdfs
hdfs namenode -format
格式化後，啟動namenode程序
hadoop-daemon.sh start namenode
c) 在另一台node2或者node1上同步元資料
hdfs namenode -bootstrapstandby
d) 初始化zookeeper上的內容
hdfs zkfc -formatzk
e) 啟動hadoop集群，可在node1到node4這四台伺服器上任意位置執行
start-dfs.sh
4、zookeeper操作
在node2或者node3或者node4上執行
zkcli.sh
ls /hadoop-ha/mycluster 檢視臨時檔案
get /hadoop-ha/mycluster/activestandbyelectorlock 檢視臨時檔案的內容
退出zkcli.sh
quit
5、停止集群：
首先stop-dfs.sh
其次，停止zookeeper集群
node2、node3、node4上執行：
zkserver.sh stop
高可用集群 HA 的搭建 翻譯
高可用集群的搭建 解決方案一 the mon heartbeat fake coda solution mon 乙個通用的資源監控系統，它能監控網路服務的可用性和服務節點。heartbeat 通過 序列線 或者 udp 提供兩個節點之間的心跳檢測。fake 通過arp欺騙 spoofing 實現ip...
YARN篇 基於HA的YARN集群搭建
修改配置如下 vi mapred site.xml mapreduce.framework.namename yarnvalue property vi yarn site.xml yarn.nodemanager.aux servicesname mapreduce shufflevalue pr...
Hadoop的HA集群HDFS搭建 錯誤記錄
live nodes顯示為0 第一步 檢視datanode日誌tail 100 home hadoop 2.5.1 logs hadoop root datanode node2.log 異常問題 原因 重複格式化。在第一次格式化dfs後，啟動並使用了hadoop，後來又重新執行了格式化命令 hdf...