1.首先,yarn集群的搭建是建立在高可用完全分布式上進行搭建的
2.修改配置檔案(每台伺服器都需要修改)
2.1修改配置:mapred-site.xml(此檔案在hadoop的etc下的mapred-site.xml中,原名需要在後刪除一部分,得到此配置檔案)
mapreduce.framework.name
yarn
配置資源管理器yarn2.2yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
cluster1
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
node01
yarn.resourcemanager.hostname.rm2
node02
yarn.resourcemanager.zk-address
node02:2181,node03:2181,node04:2181
在啟動程序後,在node01執行:start-yarn.sh (bin目錄下)在node02上執行:nyarn-daemon.sh start resourcemanager yarn 集群搭建
啟動步驟 基於ha 集群搭建 ha集群搭建 nn 1 nn 2 dnzk zkfc jnnrs nmnode1 node2 node3 node4 mapreduce.framework.namename yarnvalue property configuration yarn.nodemanag...
Yarn 集群環境搭建
環境準備 確保主機搭建 hdfs 執行環境 步驟一 修改 mapred site.xml 配置檔案 root node 01 hadoop vim mapred site.xml mapreduce.framework.name yarn 步驟二 修改yarn env.sh 配置檔案 root no...
YARN篇 基於HA的YARN集群搭建
修改配置如下 vi mapred site.xml mapreduce.framework.namename yarnvalue property vi yarn site.xml yarn.nodemanager.aux servicesname mapreduce shufflevalue pr...