yarn環境搭建

1、準備工作

首先搭建乙個高可用的完全分布式

可以參照：

2、** 各個節點的功能

3、配置檔案

（1）在node01 node02 node03 node04的 /opt/software/hadoop-2.6.5/etc/hadoop/ 目錄下 將mapred-site.xml.template檔案修改為mapred-site.xml，然後更改檔案裡面的內容

命令：修改檔名mv mapred-site.xml.template mapred-site.xml

修改檔案 vim mapred-site.xml

mapred-site.xml檔案修改為：

（2）node01 node02 node03 node04配置接著配置yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
cluster1
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
node01
yarn.resourcemanager.hostname.rm2
node02
yarn.resourcemanager.zk-address
node02:2181,node03:2181,node04:2181

（1）啟動zookeeper 在node02 node03 node04上啟動zookeeper，

命令：./zkserver.sh start

（2）在nodenode上啟動集群

命令：start-dfs.sh

（3）在node01 或者node02上啟動yarn

命令：start-yarn.sh

（4）啟動另乙個節點的yarn

命令：yarn-daemon.sh start resourcemanager

我的錯誤：

在配置檔案的時候，只在node01配置了，導致出現active nodes全部為0

YARN的環境搭建

配置yarn yarn是hadoop的資源排程器，可以配置mapreduce job基於yarn執行。1 配置etc hadoop mapred site.xml 告訴mapreduce框架，最終執行時跑的位置是yarn上 mapreduce.framework.name name yarn val...

Yarn 集群環境搭建

環境準備 確保主機搭建 hdfs 執行環境 步驟一 修改 mapred site.xml 配置檔案 root node 01 hadoop vim mapred site.xml mapreduce.framework.name yarn 步驟二 修改yarn env.sh 配置檔案 root no...

yarn 集群搭建

啟動步驟 基於ha 集群搭建 ha集群搭建 nn 1 nn 2 dnzk zkfc jnnrs nmnode1 node2 node3 node4 mapreduce.framework.namename yarnvalue property configuration yarn.nodemanag...