1.管理多種大資料框架spark hive等
使得不同框架之間資源共享，減少資源浪費
2.誕生原因
為了執行多種框架，比如想引入spark計算引擎，才導致了yarn的誕生
3.yarn縮寫
yet another resource negotiator(協作)
使得*** on yarn 如spark on yarn;storm on yarn
使得資源按需分配，充分利用資源
客戶端類似與datanode，負責本身節點的資源管理
向resourcemanager匯報資訊
負責接受處理resoucemanager傳達的任務
resourcemanager和nodemanager之間，也是保持聯絡
容器
yarn啟動之後，用jps檢視，有resourcemanger，nodemanager
並且web訪問http://ip:8088/
用hadoop提供的包提交mapreduce作業
包路徑cd $hadoop_home/share/hadoop/mapreduce/
有乙個自帶的測試包hadoop-mapreduce-examples-3.1.4.jar
命令：（不會的話就輸入乙個單詞一回車，有提示，下邊的pi只是按照它提示進行的乙個操作）
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 3
之所以做這一步是因為為了測試在yarn控制台上可以看到他的執行過程
我當時環境有點問題執行失敗了
Hadoop學習筆記 YARN
yarn產生背景 為什麼會產生yran？這個與mapreduce1.x的架構有關，正是因為mapreduce1.x存在許多的問題，才會產生 yarn。mapreduce1.x的架構如下 hadoop1.x時，mapreduce的架構仍然是主從架構。乙個jobtracker帶多個tasktracker...
Hadoop學習筆記之YARN
yarn service框架提供了一流的支援和api，可以在yarn中本地化時間執行的服務。簡而言之 in a nutshell 它作為乙個容器編排平台，用於管理yarn上的貨櫃化服務。它支援yarn中的docker容器和傳統的基於程序的容器。該框架的職責包括執行配置解決方案和安裝，生命週期管理 如...
Hadoop學習筆記 3
從jar包中提取預設配置 master node就是name node master node會通過ssh將命令傳送到其他data node。分離啟動secondarynamenode 配置檔案hdfs site.xml，在node3上啟動secondarynamenode程序。將hdfs site...