啟動步驟
基於ha 集群搭建
ha集群搭建
nn-1
nn-2
dnzk
zkfc
jnnrs
nmnode1
✔️✔️
✔️✔️
node2
✔️✔️
✔️✔️
✔️✔️
node3
✔️✔️
✔️✔️
✔️node4
✔️✔️
✔️
>
>
>
mapreduce.framework.namename
>
>
yarnvalue
>
property
>
configuration
>
三個節點啟動 zookeeper>
>
>
yarn.nodemanager.aux-servicesname
>
>
mapreduce_shufflevalue
>
property
>
>
>
yarn.resourcemanager.ha.enabledname
>
>
truevalue
>
property
>
>
>
yarn.resourcemanager.cluster-idname
>
>
yarn_clustervalue
>
property
>
>
>
yarn.resourcemanager.ha.rm-idsname
>
>
rm1,rm2value
>
property
>
>
>
yarn.resourcemanager.hostname.rm1name
>
>
node3value
>
property
>
>
>
yarn.resourcemanager.hostname.rm2name
>
>
node4value
>
property
>
>
>
>
>
node3:8088value
>
property
>
>
>
>
>
node4:8088value
>
property
>
>
>
yarn.resourcemanager.zk-addressname
>
>
node1:2181,node2:2181,node3:2181value
>
property
>
configuration
>
zkserver.sh start
對 zookeeper 進行格式化,在第一台 nn 節點上執行(如果是第一次啟動需要執行)
hdfs zkfc -formatzk
node1 啟動 hdfs
start-dfs.sh
node1 啟動 yarn
start-yarn.sh
node2 啟動 resourcemanager
yarn-daemon.sh start resourcemanager
Yarn集群的搭建
1.首先,yarn集群的搭建是建立在高可用完全分布式上進行搭建的 2.修改配置檔案 每台伺服器都需要修改 2.1修改配置 mapred site.xml 此檔案在hadoop的etc下的mapred site.xml中,原名需要在後刪除一部分,得到此配置檔案 mapreduce.framework....
Yarn 集群環境搭建
環境準備 確保主機搭建 hdfs 執行環境 步驟一 修改 mapred site.xml 配置檔案 root node 01 hadoop vim mapred site.xml mapreduce.framework.name yarn 步驟二 修改yarn env.sh 配置檔案 root no...
YARN篇 基於HA的YARN集群搭建
修改配置如下 vi mapred site.xml mapreduce.framework.namename yarnvalue property vi yarn site.xml yarn.nodemanager.aux servicesname mapreduce shufflevalue pr...