YARN篇 基於HA的YARN集群搭建

2021-08-15 07:28:11 字數 1448 閱讀 6476

修改配置如下:

vi mapred-site.xml

mapreduce.framework.namename>

yarnvalue>

property>

vi yarn-site.xml

yarn.nodemanager.aux-servicesname>

mapreduce_shufflevalue>

property>

yarn.resourcemanager.ha.enabledname>

truevalue>

property>

yarn.resourcemanager.cluster-idname>

cluster1value>

property>

yarn.resourcemanager.ha.rm-idsname>

rm1,rm2value>

property>

yarn.resourcemanager.hostname.rm1name>

node03value>

property>

yarn.resourcemanager.hostname.rm2name>

node04value>

property>

yarn.resourcemanager.zk-addressname>

node01:2181,node02:2181,node03:2181,node04:2181value>

property>

啟動node03 和node04的resourcemanager

yarn-daemon.sh start resourcemanager

測試訪問:node03:8088

在hadoop部署包裡share找到mapreduce,裡面有hadoop-mapreduce-example-2.6.5.jar 執行此demo作為客戶端。

hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/jw.txt /wc/out

然後在node01的hdfs檔案系統上看,以及在node03的yarn上看進度及資訊,

統計下mapreduce計算完的資料:

hadoop整合yarn高可用HA的搭建

1 修改配置檔案 具體的修改內容為 mapred site.xml mapreduce.framework.name yarn 修改 yarn site.xml yarn.nodemanager.aux services mapreduce shuffle yarn.resourcemanager....

yarn和ha從進入到放棄

2 總結 本人主動放棄yarn和ha的解析,不是因為看不懂原始碼,而是因為不能進行除錯.如果不能進行除錯,就總感覺離真實的情況有些模糊的距離,這不是閱讀原始碼的初衷.在閱讀yarn和ha的原始碼時,發現了這麼乙個除錯的問題,除錯原始碼的難度大到不可實行,即使使用原始碼中已有的測試類,也無法達到閱讀真...

yarn與npm區別及yarn的使用介紹

yarn是facebook發布的一款可取代npm的js包管理工具,yarn的操作與npm的極為相近,而且yarn同樣是從npm註冊源來獲取模組工具 尤其是別人建立的一些專案,經久累月,重新安裝依賴的時候總是會出現很多的問題,且會出現不同的人有的時候安裝的包的版本不一致,儘管現在npm的最新版已經針對...