大資料（八）Hadoop YARN配置

1、配置mapred-site.xml

[root@node01 hadoop]# mv mapred-site.xml.template mapred-site.xml

[root@node01 hadoop]# 
vi mapred-site.xml
mapreduce.framework.name
yarn

[root@node01 hadoop]# vi yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.ha.enabled
true
yarn.resourcemanager.cluster-id
cluster1
yarn.resourcemanager.ha.rm-ids
rm1,rm2
yarn.resourcemanager.hostname.rm1
node03
yarn.resourcemanager.hostname.rm2
node04
yarn.resourcemanager.zk-address
node02:2181,node03:2181,node04:2181

[root@node01 hadoop]# scp mapred-site.xml yarn-site.xml node02:`pwd`

[root@node03 .ssh]# ssh-keygen -t dsa -p '' -f ./id_dsa

[root@node03 .
ssh]# cat id_dsa.pub >>authorized_keys
[root@node03 .
ssh]# scp id_dsa.pub node04:`pwd`/node03.pub
[root@node04 .
ssh]# cat node03.pub >> authorized_keys
另乙個節點執行相同步驟

啟動順序：

①zookeeper，zkserver.sh start

②hdfs （注意，有乙個指令碼不要用，start-all）start-dfs.sh

如果nn 和 nn2沒有啟動，需要在node01，node02分別手動啟動：

hadoop-daemon.sh start namenode

③start-yarn.sh (啟動nodemanager)

④在03,04節點分別執行指令碼： yarn-daemon.sh start resourcemanager

6、啟動後各節點角色程序

[root@node01 ~]# jps

3136
jps2612
namenode
2955
dfszkfailovercontroller
2798
journalnode
[root@node02 ~]# jps
2306
dfszkfailovercontroller
2388
nodemanager
2056
namenode
2120
datanode
2202
journalnode
2524
jps1388
quorumpeermain
[root@node03 ~]# jps
1875
datanode
1957
journalnode
1414
quorumpeermain
2409
jps2185
resourcemanager
2044
nodemanager
[root@node04 ~]# jps
1890
nodemanager
1794
datanode
2085
jps1415
quorumpeermain
2031 resourcemanager

8、停止：

node01: stop-dfs.sh

node01: stop-yarn.sh (停止nodemanager)

node03,node04: yarn-daemon.sh stop resourcemanager （停止resourcemanager）

zookeeper：zkserver.sh stop

大資料 Hadoop Yarn詳細介紹

1 分布式儲存 2 分布式計算 1 分布式儲存 hdfs 名稱節點namenode 檔案管理 資料節點datanode 檔案儲存 2 分布式計算 mapreduce map 任務的分解 reduce 結果的彙總 hdfs分布式檔案系統 hadoop distributed file system h...

大資料 八 Sqoop

sqoop是什麼 sqoop sql to hadoop 連線 傳統關係型資料庫 和 hadoop 的橋梁 把關係型資料庫的資料匯入到 hadoop 系統 如 hdfs hbase 和 hive 中 把資料從 hadoop 系統裡抽取並匯出到關係型資料庫裡。利用mapreduce加快資料傳輸速度 將...

大資料 Spark（八）

dag directed acyclic graph 叫做有向無環圖 有方向,無閉環,代表著資料的流向 原始的rdd通過一系列的轉換就形成了dag。下圖是基於單詞統計邏輯得到的dag有向無環圖 乙個job會被拆分為多組task，每組任務被稱為乙個stage。stage表示不同的排程階段，乙個spar...