修改配置如下:
vi mapred-site.xml
mapreduce.framework.namename>
yarnvalue>
property>
vi yarn-site.xml
yarn.nodemanager.aux-servicesname>
mapreduce_shufflevalue>
property>
yarn.resourcemanager.ha.enabledname>
truevalue>
property>
yarn.resourcemanager.cluster-idname>
cluster1value>
property>
yarn.resourcemanager.ha.rm-idsname>
rm1,rm2value>
property>
yarn.resourcemanager.hostname.rm1name>
node03value>
property>
yarn.resourcemanager.hostname.rm2name>
node04value>
property>
yarn.resourcemanager.zk-addressname>
node01:2181,node02:2181,node03:2181,node04:2181value>
property>
啟動node03 和node04的resourcemanager
yarn-daemon.sh start resourcemanager
測試訪問:node03:8088
在hadoop部署包裡share找到mapreduce,裡面有hadoop-mapreduce-example-2.6.5.jar 執行此demo作為客戶端。
hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /user/root/jw.txt /wc/out
然後在node01的hdfs檔案系統上看,以及在node03的yarn上看進度及資訊,
統計下mapreduce計算完的資料:
hadoop整合yarn高可用HA的搭建
1 修改配置檔案 具體的修改內容為 mapred site.xml mapreduce.framework.name yarn 修改 yarn site.xml yarn.nodemanager.aux services mapreduce shuffle yarn.resourcemanager....
yarn和ha從進入到放棄
2 總結 本人主動放棄yarn和ha的解析,不是因為看不懂原始碼,而是因為不能進行除錯.如果不能進行除錯,就總感覺離真實的情況有些模糊的距離,這不是閱讀原始碼的初衷.在閱讀yarn和ha的原始碼時,發現了這麼乙個除錯的問題,除錯原始碼的難度大到不可實行,即使使用原始碼中已有的測試類,也無法達到閱讀真...
yarn與npm區別及yarn的使用介紹
yarn是facebook發布的一款可取代npm的js包管理工具,yarn的操作與npm的極為相近,而且yarn同樣是從npm註冊源來獲取模組工具 尤其是別人建立的一些專案,經久累月,重新安裝依賴的時候總是會出現很多的問題,且會出現不同的人有的時候安裝的包的版本不一致,儘管現在npm的最新版已經針對...