前提：環境配置好了zookeeper環境
first step:開啟hadoopha的初始化
1. 在各個節點上啟動journalnode
sbin/hadoop-daemon.sh start journalnode在[nn1]上，對其進行格式化，並啟動bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
[nn2]中同步nn1的元資料bin/hdfs namenode -bootstrapstandby啟動nn2sbin/hadoop-daemon.sh start namenode將nn1切換成activebin/hdfs haadmin -transitiontoactive nn1啟動所有節點的datanodesbin/hadoop-daemons.sh start datanodesecond step:故障自動轉移
1. 先關閉所有的hdfs服務
sbin/stop-dfs.sh啟動zookeper集群#所有的機器都要執行
bin/zkserver.sh
初始化ha在zookeeper中的狀態bin/hdfs zkfc -formatzk啟動hdfs服務sbin/start-dfs.sh啟動dfszk服務sbin/hadoop-daemon.sh start zkfc
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
10000
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
cluster1
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
bigdata01.com
yarn.resourcemanager.hostname.rm2
bigdata02.com
yarn.resourcemanager.zk-address
bigdata01.com:2181,bigdata01.com:2181,bigdata01.com:2181
yarn.resourcemanager.recovery.enabled
true
yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.zkrmstatestore
啟動resourcemanager 啟動nodemanager 測試mapreduce wordcount
docker之hadoop HA高可用配置
搭建hadoop的高可用性，hadoop版本為2.6.5。hadoop的高可用配置有兩種方法，以下是我選擇配置的quorum journal manager qjm 的方法。quorum的高可用需要啟動奇數個 3 5 7等 journalnodes節點進行日誌的處理，活動namenode節點負責進行...
大資料之Linux網絡卡配置
當你安裝好一台linux之後，第一步自然是配置網絡卡，讓你的linux上網。配置網絡卡大多數有兩種模式，一種是橋接，一種是nat 首先講一下橋接網絡卡的上網原理，他是等同於在你現有的網路環境上直接現加一台電腦，走獨立網路。不依託於你的windows主機 nat聯網方式呢就是通過vmware虛擬乙個交...
hadoopHA配置jdk和同步時間分發公鑰
1.在xshell裡面分發jdk scp jdk 7u67 linux x64.rpm node02 pwd scp jdk 7u67 linux x64.rpm node03 pwd scp jdk 7u67 linux x64.rpm node04 pwd 2.並在xshell的全部會話欄裡一起...