YARN的環境搭建

2021-08-15 16:32:18 字數 977 閱讀 7034

配置yarn

yarn是hadoop的資源排程器，可以配置mapreduce job基於yarn執行。 

1)配置etc/hadoop/mapred-site.xml（告訴mapreduce框架，最終執行時跑的位置是yarn上）



mapreduce.framework.name


name>


yarn


value>


property>


configuration>
2)配置etc/hadoop/yarn-site.xml（yarn的nodemanager中的services用的是mapreduce——shuffle）

yarn.nodemanager.aux-servicesname>


mapreduce_shufflevalue>


property>


configuration>
3）啟動yarn相關程序

$ sbin/start-yarn.sh
4）驗證

5）停止yarn相關程序

sbin/stop-yarn.sh

提交mr作業到yarn上執行：

hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar

hadoop jar

例如：

pi是程式名稱，2 3是引數

yarn環境搭建

1 準備工作 首先搭建乙個高可用的完全分布式 可以參照 2 各個節點的功能 3 配置檔案 1 在node01 node02 node03 node04的 opt software hadoop 2.6.5 etc hadoop 目錄下 將mapred site.xml.template檔案修改為ma...

Yarn 集群環境搭建

環境準備 確保主機搭建 hdfs 執行環境 步驟一 修改 mapred site.xml 配置檔案 root node 01 hadoop vim mapred site.xml mapreduce.framework.name yarn 步驟二 修改yarn env.sh 配置檔案 root no...

Yarn集群的搭建

1.首先，yarn集群的搭建是建立在高可用完全分布式上進行搭建的 2.修改配置檔案 每台伺服器都需要修改 2.1修改配置 mapred site.xml 此檔案在hadoop的etc下的mapred site.xml中，原名需要在後刪除一部分，得到此配置檔案 mapreduce.framework....