YARN的搭建與測試

2021-08-29 16:06:48 字數 1482 閱讀 4625

集群規劃

配置

修改配置檔案mapred-sitex.xml

mapreduce.framework.name


yarn


true
修改配置檔案yarn-site.xml

yarn.nodemanager.aux-services


mapreduce_shuffle


yarn.resourcemanager.ha.enabled


true


yarn.resourcemanager.cluster-id


cluster1


yarn.resourcemanager.ha.rm-ids


rm1,rm2


yarn.resourcemanager.hostname.rm1


node01


yarn.resourcemanager.hostname.rm2


node02


yarn.resourcemanager.zk-address


node02:2181,node03:2181,node04:2181
將配置好資訊分發到所有節點

在node02 node03 node04上啟動zookeeper

./zkserver.sh start
node01上啟動hdfs和yarn集群

start-dfs.sh


start-yarn.sh
在node02上單獨啟動乙個備用resourcemanager

（node01上已自動啟動乙個active的rm)

yarn-daemon.sh start resourcemanager
從8088埠檢視管理頁面

測試案例

wordcount

使用mapreduce提供的測試用例wordcount

到mapreduce的jar包目錄下

cd $hadoop_home/share/hadoop/mapreduce
執行測試用例

hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount  /input  /output
input:是hdfs檔案系統中資料所在的目錄

ouput:是hdfs中不存在的目錄，程式執行的結果會輸出到該目錄，若目錄存在會報錯

檢視執行結果

hdfs dfs -cat /output/*

yarn安裝與測試

1，配置計算排程系統yarn和計算引擎map redece 2.namenode配置mapred site.xml property name mapreduce.framework.name value yarn 3.節點配置yarn site.xml property name yarn.res...

YARN配置與測試

概述 本文介紹yarn環境配置，並實現塞繆爾 厄爾曼 青春 的詞頻統計 1 修改mapred site.xml cp mapred site.xml.template mapred site.xml mapreduce.framework.name yarn 2 修改yarn site.xml ya...

YARN的環境搭建

配置yarn yarn是hadoop的資源排程器，可以配置mapreduce job基於yarn執行。1 配置etc hadoop mapred site.xml 告訴mapreduce框架，最終執行時跑的位置是yarn上 mapreduce.framework.name name yarn val...